![\"Bjoern](\"https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Bjoern-Boetcher.jpg\" "\\"Apache")
<\/a>Une topologie orchestre diff\u00e9rents objets sources de donn\u00e9es (spouts) et les objets traitant les donn\u00e9es (bolts) \u00e0 travers un graphe de flux orient\u00e9. Le Nimbus lui-m\u00eame est sans \u00e9tat et peut \u00eatre red\u00e9marr\u00e9 sans probl\u00e8me.<\/p>\nLes superviseurs h\u00e9bergent les diff\u00e9rents workers. Chaque worker peut ex\u00e9cuter un ou plusieurs executors d'une topologie dans une JVM. Les superviseurs peuvent \u00eatre ajout\u00e9s ou supprim\u00e9s \u00e0 tout moment lors de l'ex\u00e9cution de la plateforme.<\/p>\n
Dans la version 1.0 d'Apache Storm, il est d\u00e9sormais possible de d\u00e9finir un serveur Pacemaker, afin de ne pas surcharger le cluster Zookeeper et de limiter volontairement la communication r\u00e9seau.<\/p>\n
Pour ne devoir d\u00e9ployer une topologie qu'une seule fois, il est possible d'utiliser un cache distribu\u00e9. Cela permet par exemple d'adapter les fichiers de configuration au moment de l'ex\u00e9cution sans avoir \u00e0 red\u00e9marrer la topologie.<\/p>\n
Les donn\u00e9es de flux peuvent \u00eatre calcul\u00e9es \u00e0 l'aide de fen\u00eatres (Windows) dont la longueur et l'intervalle peuvent \u00eatre d\u00e9finis. Cela permet par exemple de calculer des sc\u00e9narios de flux classiques, comme les principales tendances des actualit\u00e9s sociales.<\/p>\n
Au niveau le plus bas de l'architecture, le SAP Smart Data Streaming se compose du Streaming Server et d'un Streaming Cluster. Chacun des composants doit \u00eatre install\u00e9 sur un mat\u00e9riel d\u00e9di\u00e9.<\/p>\n
Un cluster de streaming se compose d'un ou de plusieurs n\u0153uds (clients) qui constituent l'environnement d'ex\u00e9cution des projets de streaming. D'autres n\u0153uds peuvent \u00eatre ajout\u00e9s \u00e0 volont\u00e9 pendant l'ex\u00e9cution. Une fois le cluster install\u00e9 et configur\u00e9, un projet peut \u00eatre cr\u00e9\u00e9 et ex\u00e9cut\u00e9 au sein d'un espace de travail.<\/p>\n
Un ou plusieurs espaces de travail peuvent \u00eatre exploit\u00e9s sur un cluster, par exemple pour garantir une s\u00e9paration du contenu des projets. En effet, un workspace d\u00e9finit un espace de noms dans le projet en cours et permet \u00e9galement de d\u00e9finir les droits d'acc\u00e8s.<\/p>\n
Il en r\u00e9sulte automatiquement diff\u00e9rents espaces de travail en raison des diff\u00e9rents droits d'acc\u00e8s. Les projets sont la plus petite unit\u00e9 qui peut \u00eatre ex\u00e9cut\u00e9e sur le cluster et qui permet de d\u00e9finir la logique commerciale. Cela se fait dans un projet via les composants Stream, Window et Adapter.<\/p>\n
Les trois composants sont utilisables en un seul ou en plusieurs exemplaires. Le flux et la fen\u00eatre sont les unit\u00e9s de traitement des donn\u00e9es entrantes. Les donn\u00e9es qui entrent dans le syst\u00e8me peuvent \u00eatre transform\u00e9es, enrichies ou agr\u00e9g\u00e9es \u00e0 l'aide des flux sans \u00e9tat ou des fen\u00eatres avec \u00e9tat.<\/p>\n
Afin d'avoir l'\u00e9tat \u00e0 disposition \u00e0 tout moment, Windows utilise un stockage de base de donn\u00e9es bas\u00e9 sur des strat\u00e9gies. Les strat\u00e9gies permettent de d\u00e9finir un nombre maximal de lignes ou une limite de temps pour garder les donn\u00e9es \u00e0 disposition.<\/p>\n
Par exemple, les donn\u00e9es qui entrent dans le syst\u00e8me pendant cinq minutes peuvent \u00eatre enregistr\u00e9es, ce qui permet par exemple d'identifier une anomalie dans les temp\u00e9ratures de fonctionnement ou la pression d'une machine.<\/p>\n
La r\u00e9alisation du cache est d\u00e9finie par d\u00e9faut comme une fen\u00eatre glissante. Il est toutefois possible de transformer cette fen\u00eatre en une fen\u00eatre flottante \u00e0 l'aide d'un mot-cl\u00e9. Cela aurait pour cons\u00e9quence que les donn\u00e9es seraient automatiquement effac\u00e9es apr\u00e8s l'intervalle de temps ou de ligne d\u00e9fini et ne seraient plus \u00e9cras\u00e9es en continu par roulement.<\/p>\n
Les adaptateurs au sein d'un projet relient les flux et les Windows aux sources et aux points finaux de donn\u00e9es. Les adaptateurs peuvent ainsi accepter des informations provenant d'\u00e9v\u00e9nements sans effectuer d'autre op\u00e9ration ou effectuer l'une des actions suivantes : insert, update, delete, upset, safedelete.<\/p>\n
Cela permet de connecter les sources et les points finaux de donn\u00e9es les plus divers dans diff\u00e9rents modes de fonctionnement. Il convient de noter que les flux, de par leur d\u00e9finition, ne peuvent pas modifier les ensembles de donn\u00e9es pr\u00e9c\u00e9dents.<\/p>\n
Apache Storm est bas\u00e9 sur Java et Python et offre un acc\u00e8s natif \u00e0 l'ensemble des langages de Java. Il est \u00e9galement possible d'ex\u00e9cuter du code dans n'importe quel autre langage \u00e0 l'aide de Distributed RPC. Un exemple populaire d'int\u00e9gration d'autres langages dans le d\u00e9veloppement Java pur est l'utilisation de Python, par exemple lorsqu'il s'agit d'utiliser des biblioth\u00e8ques dans le domaine de l'apprentissage automatique.<\/p>\n Dans ce cas, le programme Python est appel\u00e9 directement \u00e0 partir du code source Java et les donn\u00e9es sont transmises directement. L'application Python effectue alors les calculs et renvoie le r\u00e9sultat au programme Java appelant, ce qui permet de ne pas interrompre le flux de la topologie.<\/p>\n SAP Smart Data Streaming utilise son propre langage pour programmer l'application de streaming. Le Continuous Computation Language (CCL) bas\u00e9 sur les \u00e9v\u00e9nements est bas\u00e9 sur une syntaxe SQL et peut \u00eatre \u00e9tendu \u00e0 l'aide de scripts CCL.<\/p>\n Pour rester dans l'analogie avec SQL, on peut se repr\u00e9senter CCL comme une ex\u00e9cution r\u00e9p\u00e9t\u00e9e \u00e0 l'infini et dynamique de requ\u00eates SQL, l'ex\u00e9cution \u00e9tant stimul\u00e9e par les \u00e9v\u00e9nements des flux de donn\u00e9es. Les scripts CCL permettent aux d\u00e9veloppeurs d'\u00e9crire des fonctions et des op\u00e9rateurs personnalis\u00e9s.<\/p>\n La syntaxe des scripts est alors similaire \u00e0 celle du langage de programmation C. Tous les projets de streaming sont \u00e9crits en CCL, puis compil\u00e9s et d\u00e9pos\u00e9s dans le serveur de streaming sous forme de fichiers CCX ex\u00e9cutables.<\/p>\n Un exemple classique d'utilisation des scripts CCL est la d\u00e9finition d'op\u00e9rateurs flexibles. Ceux-ci permettent de cr\u00e9er des dictionnaires personnalis\u00e9s. Il serait alors possible, par exemple, de d\u00e9terminer l'intervalle de temps entre deux \u00e9v\u00e9nements d\u00e9finis par l'utilisateur.<\/p>\n Une belle fonctionnalit\u00e9 est la possibilit\u00e9 de d\u00e9bogage, qui permet de jouer des donn\u00e9es de test contr\u00f4l\u00e9es dans le syst\u00e8me, d'une date \u00e0 des flux individuels mis en cache.<\/p>\n La g\u00e9n\u00e9ration de la topologie dans Apache Storm est bas\u00e9e sur une classe Java qui rassemble les composants n\u00e9cessaires \u00e0 l'aide de diff\u00e9rents groupages (variations de routage). Ces regroupements r\u00e9gulent le flux des donn\u00e9es et pr\u00e9servent les informations pendant les \u00e9tapes de traitement.<\/p>\n Avec SAP Smart Data Streaming, les projets sont cr\u00e9\u00e9s visuellement et les diff\u00e9rents \u00e9l\u00e9ments sont enrichis par la logique. L'essentiel de la mod\u00e9lisation du projet de streaming dans le cadre de SAP Smart Data Streaming s'effectue \u00e0 l'aide d'une syntaxe similaire \u00e0 celle de SQL.<\/p>\n Le streaming de donn\u00e9es ne constitue pas \u00e0 lui seul une application. C'est pourquoi une plateforme de streaming vit aussi de son \u00e9cosyst\u00e8me. Dans le cas d'Apache Storm, il s'agit de tout le zoo de la famille Apache et de tout ce qui peut \u00eatre abord\u00e9 d'une mani\u00e8re ou d'une autre avec Java. La flexibilit\u00e9 est donc tr\u00e8s \u00e9lev\u00e9e et la capacit\u00e9 d'int\u00e9gration est \u00e9galement immense.<\/p>\n Chez l'adversaire de SAP, la situation semble en principe un peu plus limit\u00e9e, car la plate-forme vise en premier lieu l'\u00e9cosyst\u00e8me propre \u00e0 SAP. Toutefois, avec SAP Smart Data Streaming Lite, SAP Hana et par exemple Siemens MindSphere, de nombreux domaines d'application d'une entreprise sont d\u00e9j\u00e0 couverts.<\/p>\n La version SAP Smart Data Streaming Lite est int\u00e9ressante, car elle permet d'externaliser le pr\u00e9traitement des donn\u00e9es sur un appareil embarqu\u00e9. SAP \u00e9tend ainsi de mani\u00e8re proactive sa plateforme de streaming \u00e0 l'environnement IoT.<\/p>\n Les deux repr\u00e9sentants de la plateforme de streaming sont adapt\u00e9s \u00e0 une utilisation dans un environnement d'entreprise. Les deux repr\u00e9sentants ma\u00eetrisent sans probl\u00e8me toutes les questions relatives \u00e0 la s\u00e9curit\u00e9, \u00e0 l'\u00e9volutivit\u00e9 et \u00e0 la gestion des ressources, au support, \u00e0 l'\u00e9tat de d\u00e9veloppement du projet (\"open source\"), aux accords sur les niveaux de service, \u00e0 la capacit\u00e9 d'int\u00e9gration avec les syst\u00e8mes existants et \u00e0 la maintenabilit\u00e9.<\/p>\n SAP conna\u00eet parfaitement l'environnement des entreprises et son exp\u00e9rience lui permet de couvrir de nombreux sc\u00e9narios et besoins. Pour Apache Storm, c'est exactement l'inverse. Le logiciel est issu de l'environnement open source et s'est d\u00e9velopp\u00e9 dans l'environnement d'entreprise.<\/p>\n Avec la r\u00e9cente version 1.0, le projet a \u00e9galement atteint la maturit\u00e9 n\u00e9cessaire. Avec le support de Kerberos, rien ne s'oppose non plus \u00e0 une utilisation s\u00e9curis\u00e9e dans le contexte de l'entreprise.<\/p>\n M\u00eame le point faible souvent \u00e9voqu\u00e9 du nimbus en tant que point unique de d\u00e9faillance peut \u00eatre r\u00e9solu par une strat\u00e9gie appropri\u00e9e (exemple : Blog Hortonworks<\/a>) peut \u00eatre contourn\u00e9e.<\/p>\n Les entreprises qui souhaitent mettre en \u0153uvre une solution de streaming en interne, par exemple dans les domaines de l'industrie 4.0, de la t\u00e9l\u00e9matique, de la sant\u00e9 ou du commerce \u00e9lectronique, peuvent miser aussi bien sur SAP Smart Data Streaming que sur Apache Storm. Les deux technologies peuvent remplir des t\u00e2ches de streaming.<\/p>\n Dans le cas de la solution SAP, les points n\u00e9gatifs sont la n\u00e9cessit\u00e9 d'un mat\u00e9riel d\u00e9di\u00e9, la n\u00e9cessit\u00e9 d'un syst\u00e8me de fichiers distribu\u00e9, les co\u00fbts suppl\u00e9mentaires pour les licences, le fait que la plateforme soit jusqu'\u00e0 pr\u00e9sent uniquement orient\u00e9e vers l'\u00e9cosyst\u00e8me SAP, la n\u00e9cessit\u00e9 d'une courbe d'apprentissage suppl\u00e9mentaire pour CCL et l'absence d'une grande communaut\u00e9 de d\u00e9veloppeurs.<\/p>\n En revanche, Apache Storm souffre d'un manque de support natif pour la surveillance, qui est att\u00e9nu\u00e9 par le vaste \u00e9cosyst\u00e8me. On peut donc dire que SAP a mis en place une bonne solution, qui semble tr\u00e8s complexe au d\u00e9but, mais qui peut \u00eatre apprise. La variante open source est toutefois plus ouverte, plus flexible et moins ch\u00e8re.<\/p>","protected":false},"excerpt":{"rendered":" Pour l'analyse de donn\u00e9es en temps r\u00e9el, il existe sur le march\u00e9 quelques technologies en d\u00e9veloppement ainsi que des solutions \u00e9tablies. Avec SAP Smart Data Streaming et Apache Storm, nous souhaitons mettre en lumi\u00e8re un repr\u00e9sentant tr\u00e8s proche de l'entreprise ainsi qu'un repr\u00e9sentant de l'environnement open source.<\/p>","protected":false},"author":1189,"featured_media":26605,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[5,1608],"tags":[797,75,606,13940,92,480],"coauthors":[29460],"class_list":["post-26595","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-it-management","category-mag1606","tag-apache","tag-cluster","tag-daten","tag-echtzeitdaten","tag-java","tag-machine-learning","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",400,184,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-768x354.jpg",768,354,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-100x46.jpg",100,46,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-480x221.jpg",480,221,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-640x295.jpg",640,295,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-720x332.jpg",720,332,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-960x443.jpg",960,443,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",600,277,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",600,277,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":" F\u00fcr die Echtzeitanalyse von Daten gibt es am Markt einige sich entwickelnde Technologien und auch etablierte L\u00f6sungen. Mit SAP Smart Data Streaming und Apache Storm m\u00f6chten wir sowohl einen sehr Enterprise-nahen Vertreter als auch einen Vertreter aus dem Open-Source-Umfeld beleuchten.<\/p>\n","category_list_v2":"IT-Management<\/a>, MAG 16-06<\/a>","author_info_v2":{"name":"Bj\u00f6rn B\u00f6ttcher, Crisp Research","url":"https:\/\/e3mag.com\/fr\/author\/bjoern-boettcher\/"},"comments_num_v2":"0 commentaire","_links":{"self":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/26595","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/users\/1189"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/comments?post=26595"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/26595\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media\/26605"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media?parent=26595"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/categories?post=26595"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/tags?post=26595"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/coauthors?post=26595"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}<\/a><\/p>\nComp\u00e9tences linguistiques<\/h3>\n
D\u00e9finition des projets<\/h3>\n
Libert\u00e9 et lien : les \u00e9cosyst\u00e8mes<\/h3>\n
<\/a><\/p>\nAptitude \u00e0 l'environnement d'entreprise<\/h3>\n
Vue et recommandation<\/h3>\n