{"id":26595,"date":"2016-06-01T01:01:09","date_gmt":"2016-05-31T23:01:09","guid":{"rendered":"http:\/\/e3mag.com\/?p=26595"},"modified":"2022-05-01T08:51:09","modified_gmt":"2022-05-01T06:51:09","slug":"apache-storm-against-sap-smart-data-streaming","status":"publish","type":"post","link":"https:\/\/e3mag.com\/es\/apache-storm-gegen-sap-smart-data-streaming\/","title":{"rendered":"Apache Storm frente a SAP Smart Data Streaming"},"content":{"rendered":"

Los datos determinan el pulso de las empresas. Cuanto m\u00e1s lentos y menos flujos de datos, menos eficaz es, por ejemplo, fidelizar a los clientes, optimizar el control de las m\u00e1quinas o responder a las emergencias. Porque sin flujos de datos, el an\u00e1lisis en tiempo real, con ayuda del cual se pueden hacer optimizaciones, recomendaciones y tomar decisiones, se queda por el camino.<\/p>\n

Arquitecturas de los adversarios<\/h3>\n

Una de las soluciones de streaming m\u00e1s importantes es la denominada Storm, concebida por Nathan Marz y transformada desde entonces en un proyecto Apache. Permite el procesamiento garantizado, robusto, distribuido y tolerante a fallos de datos en tiempo real en topolog\u00edas definibles din\u00e1micamente.<\/p>\n

La base de esta plataforma son recursos de hardware dedicados para un cl\u00faster Zookeeper, el Nimbus y los supervisores. El cl\u00faster Zookeeper se encarga de la configuraci\u00f3n distribuida de los sistemas individuales y actualmente es un componente fijo y s\u00f3lido de muchos proyectos de c\u00f3digo abierto, como Apache Hadoop.<\/p>\n

Nimbus se encarga de la distribuci\u00f3n de las topolog\u00edas individuales dentro del cl\u00faster y, por tanto, del suministro del c\u00f3digo del proyecto y de los recursos necesarios.<\/p>\n

\"Bjoern<\/a>Una topolog\u00eda orquesta diferentes objetos fuente de datos (ca\u00f1os) y los objetos de procesamiento de datos (pernos) a trav\u00e9s de un grafo de flujo dirigido. La propia nimbus no tiene estado y puede reiniciarse sin problemas.<\/p>\n

Los supervisores alojan a los trabajadores individuales. Cada trabajador puede ejecutar uno o varios ejecutores de una topolog\u00eda en una JVM. Los supervisores pueden a\u00f1adirse o eliminarse en cualquier momento durante el tiempo de ejecuci\u00f3n de la plataforma.<\/p>\n

En la versi\u00f3n 1.0 de Apache Storm, ahora tambi\u00e9n se puede definir un servidor Pacemaker para que el cluster Zookeeper no se sobrecargue y la comunicaci\u00f3n de red se mantenga deliberadamente peque\u00f1a.<\/p>\n

Para no tener que desplegar una topolog\u00eda m\u00e1s que una vez, es posible utilizar una cach\u00e9 distribuida. Por ejemplo, los archivos de configuraci\u00f3n pueden adaptarse en tiempo de ejecuci\u00f3n sin tener que reiniciar la topolog\u00eda.<\/p>\n

Los datos de streaming pueden calcularse mediante ventanas (ventanas) que pueden definirse en longitud e intervalo. Esto permite, por ejemplo, calcular escenarios de streaming cl\u00e1sicos, como las principales tendencias en noticias sociales.<\/p>\n

SAP Smart Data Streaming consta del servidor de streaming y de un cl\u00faster de streaming en el nivel arquitect\u00f3nico m\u00e1s bajo. Cada uno de los componentes debe instalarse en hardware dedicado.<\/p>\n

Un cl\u00faster de streaming se divide en uno o varios nodos (clientes), que representan el entorno de ejecuci\u00f3n de los proyectos de streaming. Se pueden a\u00f1adir m\u00e1s nodos en tiempo de ejecuci\u00f3n seg\u00fan se desee. Una vez instalado y configurado el cl\u00faster, se puede crear y ejecutar un proyecto dentro de un espacio de trabajo.<\/p>\n

Uno o varios espacios de trabajo pueden funcionar en un cl\u00faster, por ejemplo, para garantizar la separaci\u00f3n del contenido de un proyecto. Esto se debe a que un espacio de trabajo define un espacio de nombres en el proyecto actual y tambi\u00e9n permite definir los derechos de acceso.<\/p>\n

Esto da lugar autom\u00e1ticamente a diferentes espacios de trabajo debido a los diferentes derechos de acceso. Los proyectos son la unidad m\u00e1s peque\u00f1a que puede ejecutarse en el cl\u00faster, lo que permite definir la l\u00f3gica empresarial. Esto se realiza en un proyecto a trav\u00e9s de los componentes stream, window y adapter.<\/p>\n

Los tres componentes pueden utilizarse en singular o en m\u00faltiple. Stream y Window son la unidad de procesamiento de los datos entrantes. Los datos que entran en el sistema pueden transformarse, enriquecerse o agregarse utilizando los flujos sin estado o las ventanas con estado.<\/p>\n

Para tener el estado disponible en todo momento, Windows utiliza un almacenamiento de base de datos basado en pol\u00edticas. Con la ayuda de pol\u00edticas, se puede definir un n\u00famero m\u00e1ximo de filas o un l\u00edmite de tiempo para mantener los datos listos.<\/p>\n

Por ejemplo, los datos que entran en el sistema pueden almacenarse durante cinco minutos y as\u00ed, por ejemplo, identificar una desviaci\u00f3n en las temperaturas de funcionamiento o en la presi\u00f3n de una m\u00e1quina.<\/p>\n

Por defecto, la cach\u00e9 se define como una ventana m\u00f3vil. Sin embargo, tambi\u00e9n se puede convertir en una ventana de salto mediante una palabra clave. De este modo, los datos se borrar\u00edan autom\u00e1ticamente tras el intervalo de tiempo o l\u00ednea definido y ya no se sobrescribir\u00edan continuamente de forma continua.<\/p>\n

Los adaptadores dentro de un proyecto conectan flujos y ventanas a fuentes de datos y puntos finales de datos. Los adaptadores pueden aceptar informaci\u00f3n de eventos sin otra operaci\u00f3n o realizar una de las siguientes acciones: insertar, actualizar, borrar, trastornar, safedelete.<\/p>\n

Esto permite la conexi\u00f3n de una amplia variedad de fuentes de datos y puntos finales en diferentes modos de funcionamiento. Cabe se\u00f1alar que los flujos no pueden modificar conjuntos de datos anteriores debido a su definici\u00f3n.<\/p>\n

\"Boetcher<\/a><\/p>\n

Conocimientos ling\u00fc\u00edsticos<\/h3>\n

Apache Storm est\u00e1 basado en Java y Python y proporciona acceso nativo a toda la riqueza del lenguaje Java. Tambi\u00e9n es posible ejecutar c\u00f3digo de cualquier otro lenguaje utilizando RPC distribuido. Un ejemplo popular de integraci\u00f3n de otros lenguajes en el desarrollo en Java puro es el uso de Python, por ejemplo, cuando se utilizan bibliotecas del campo del aprendizaje autom\u00e1tico.<\/p>\n

En este caso, el programa Python se llama directamente desde el c\u00f3digo fuente Java y las bolsas de datos se pasan directamente. A continuaci\u00f3n, la aplicaci\u00f3n Python realiza los c\u00e1lculos y devuelve el resultado al programa Java de llamada, por lo que el flujo de la topolog\u00eda no se interrumpe.<\/p>\n

SAP Smart Data Streaming utiliza su propio lenguaje para programar la aplicaci\u00f3n de streaming. El lenguaje Continuous Computation Language (CCL) basado en eventos se basa en la sintaxis SQL y puede ampliarse mediante secuencias de comandos CCL.<\/p>\n

Siguiendo con la analog\u00eda de SQL, CCL puede considerarse como una ejecuci\u00f3n infinitamente repetida y din\u00e1mica de consultas SQL, cuya ejecuci\u00f3n se ve estimulada por los eventos en los flujos de datos. Los scripts CCL permiten a los desarrolladores escribir funciones y operadores personalizados.<\/p>\n

La sintaxis de los scripts es similar a la del lenguaje de programaci\u00f3n C. Todos los proyectos de streaming se escriben en CCL y luego se compilan y almacenan como archivos CCX ejecutables en el servidor de streaming.<\/p>\n

Un ejemplo cl\u00e1sico del uso de scripts CCL es la definici\u00f3n de operadores flexibles. \u00c9stos permiten crear diccionarios personalizados. Esto permitir\u00eda, por ejemplo, determinar el lapso de tiempo entre dos eventos definidos por el usuario.<\/p>\n

Una buena caracter\u00edstica es la opci\u00f3n de depuraci\u00f3n, que permite reproducir en el sistema datos de prueba controlados desde una fecha hasta flujos individuales almacenados en cach\u00e9.<\/p>\n

Definici\u00f3n de los proyectos<\/h3>\n

La generaci\u00f3n de topolog\u00eda en Apache Storm se basa en una clase Java que combina los componentes necesarios con la ayuda de diferentes agrupaciones (variaciones de enrutamiento). Estas agrupaciones regulan el flujo de datos y preservan la informaci\u00f3n durante los pasos de procesamiento.<\/p>\n

Con SAP Smart Data Streaming, los proyectos se crean visualmente y los elementos individuales se enriquecen con l\u00f3gica. La parte principal de la modelizaci\u00f3n del proyecto de streaming en SAP Smart Data Streaming se realiza mediante la sintaxis de tipo SQL.<\/p>\n

Libertad y Obligaci\u00f3n: Ecosistemas<\/h3>\n

El streaming de datos por s\u00ed solo no hace una aplicaci\u00f3n. Por lo tanto, una plataforma de streaming tambi\u00e9n vive de su ecosistema. En el caso de Apache Storm, se trata de todo el zool\u00f3gico de la familia Apache y, m\u00e1s all\u00e1 de eso, todo lo que de alguna manera se puede abordar con Java. Esto significa que la flexibilidad es muy alta y la capacidad de integraci\u00f3n tambi\u00e9n es inmensa.<\/p>\n

En el caso del competidor de SAP, la situaci\u00f3n parece algo m\u00e1s limitada en principio, ya que la plataforma se dirige principalmente al propio ecosistema de SAP. Sin embargo, con SAP Smart Data Streaming Lite, SAP Hana y Siemens MindSphere, por ejemplo, ya est\u00e1n cubiertas muchas \u00e1reas de aplicaci\u00f3n de una empresa.<\/p>\n

La versi\u00f3n SAP Smart Data Streaming Lite es interesante en este caso, ya que permite externalizar el preprocesamiento de los datos a un dispositivo integrado. De este modo, SAP ampl\u00eda tambi\u00e9n de forma proactiva la plataforma de streaming al entorno IoT.<\/p>\n

\"Tormenta<\/a><\/p>\n

Idoneidad en el entorno empresarial<\/h3>\n

Ambos representantes de la plataforma de streaming son aptos para su uso en el entorno corporativo. Todas las cuestiones relacionadas con la seguridad, la escalabilidad y la gesti\u00f3n de recursos, el soporte, el estado de desarrollo del proyecto (\"c\u00f3digo abierto\"), los acuerdos de nivel de servicio, la integraci\u00f3n con los sistemas existentes y la capacidad de mantenimiento pueden ser dominadas sin problemas por ambos representantes.<\/p>\n

SAP conoce bien el entorno corporativo y cubre con su experiencia muchos escenarios y necesidades. Con Apache Storm, la situaci\u00f3n es exactamente la contraria. El software tiene su origen en el entorno de c\u00f3digo abierto y ha evolucionado hacia el panorama corporativo.<\/p>\n

Con la versi\u00f3n 1.0, recientemente publicada, tambi\u00e9n se dispone de la madurez necesaria del proyecto. Con el soporte de Kerberos, nada se opone a un uso seguro en el contexto corporativo.<\/p>\n

La debilidad a menudo mencionada de Nimbus como punto \u00fanico de fallo tambi\u00e9n puede superarse con la estrategia adecuada (ejemplo: Blog de Hortonworks<\/a>).<\/p>\n

Perspectivas y recomendaciones<\/h3>\n

Las empresas que deseen implantar una soluci\u00f3n de streaming internamente, por ejemplo en las \u00e1reas de Industria 4.0, telem\u00e1tica, sanidad o comercio electr\u00f3nico, pueden confiar tanto en SAP Smart Data Streaming como en Apache Storm. Ambas tecnolog\u00edas pueden realizar tareas de streaming.<\/p>\n

Con la soluci\u00f3n SAP, los factores negativos son que se necesita hardware dedicado, se requiere un sistema de archivos distribuido, se incurre en costes adicionales por licencias, la plataforma hasta ahora s\u00f3lo est\u00e1 orientada al ecosistema SAP, es necesaria una curva de aprendizaje adicional para la CCL y a\u00fan no existe una gran comunidad de desarrolladores.<\/p>\n

Por el contrario, Apache Storm s\u00f3lo carece de soporte nativo de monitorizaci\u00f3n, lo que se ve mitigado por el amplio ecosistema. Queda por decir que SAP ha implementado una buena soluci\u00f3n, que parece muy compleja al principio, pero que se puede aprender. Sin embargo, la variante de c\u00f3digo abierto es m\u00e1s abierta, flexible y rentable.<\/p>","protected":false},"excerpt":{"rendered":"

Para el an\u00e1lisis de datos en tiempo real, existen en el mercado varias tecnolog\u00edas en desarrollo, as\u00ed como soluciones ya establecidas. Con SAP Smart Data Streaming y Apache Storm, nos gustar\u00eda destacar tanto un representante muy orientado a la empresa como un representante del entorno de c\u00f3digo abierto.<\/p>","protected":false},"author":1189,"featured_media":26605,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[5,1608],"tags":[797,75,606,13940,92,480],"coauthors":[29460],"class_list":["post-26595","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-it-management","category-mag1606","tag-apache","tag-cluster","tag-daten","tag-echtzeitdaten","tag-java","tag-machine-learning","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",400,184,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-768x354.jpg",768,354,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-100x46.jpg",100,46,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-480x221.jpg",480,221,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-640x295.jpg",640,295,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-720x332.jpg",720,332,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-960x443.jpg",960,443,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",600,277,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",600,277,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

F\u00fcr die Echtzeitanalyse von Daten gibt es am Markt einige sich entwickelnde Technologien und auch etablierte L\u00f6sungen. Mit SAP Smart Data Streaming und Apache Storm m\u00f6chten wir sowohl einen sehr Enterprise-nahen Vertreter als auch einen Vertreter aus dem Open-Source-Umfeld beleuchten.<\/p>\n","category_list_v2":"IT-Management<\/a>, MAG 16-06<\/a>","author_info_v2":{"name":"Bj\u00f6rn B\u00f6ttcher, Crisp Research","url":"https:\/\/e3mag.com\/es\/author\/bjoern-boettcher\/"},"comments_num_v2":"0 comentarios","_links":{"self":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/26595","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/users\/1189"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/comments?post=26595"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/26595\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media\/26605"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media?parent=26595"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/categories?post=26595"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/tags?post=26595"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/coauthors?post=26595"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}