{"id":26595,"date":"2016-06-01T01:01:09","date_gmt":"2016-05-31T23:01:09","guid":{"rendered":"http:\/\/e3mag.com\/?p=26595"},"modified":"2022-05-01T08:51:09","modified_gmt":"2022-05-01T06:51:09","slug":"apache-storm-gegen-sap-smart-data-streaming","status":"publish","type":"post","link":"https:\/\/e3mag.com\/de\/apache-storm-gegen-sap-smart-data-streaming\/","title":{"rendered":"Apache Storm gegen SAP Smart Data Streaming"},"content":{"rendered":"

Daten bestimmen den Pulsschlag der Unternehmen. Je langsamer und je weniger Daten flie\u00dfen, umso ineffizienter kann beispielsweise eine Kundenbindung aufgebaut, eine Maschinensteuerung optimiert oder auf Notf\u00e4lle reagiert werden. Denn ohne Datenstr\u00f6me bleibt die Echtzeitanalyse auf der Strecke, mit deren Hilfe Optimierungen, Empfehlungen und Entscheidungen getroffen werden k\u00f6nnen.<\/p>\n

Architekturen der Kontrahenten<\/h3>\n

Eine der wichtigsten Streaming-L\u00f6sungen ist die von Nathan Marz konzipierte und mittlerweile zum Apache-Projekt transformierte L\u00f6sung mit dem Namen Storm. Diese erm\u00f6glicht eine garantierte, robuste, verteilte und fehlertolerante Verarbeitung von Echtzeitdaten in dynamisch definierbaren Topologien.<\/p>

\"Fullsize\"<\/a><\/div><\/div>\n

Grundlage dieser Plattform sind dedizierte Hardware-Ressourcen f\u00fcr ein Zookeeper-Cluster, den Nimbus und die Supervisor. Der Zookeeper-Cluster k\u00fcmmert sich um die verteilte Konfiguration der einzelnen Systeme und ist mittlerweile fester und solider Bestandteil vieler Open-Source-Projekte, wie z. B. Apache Hadoop.<\/p>\n

Der Nimbus k\u00fcmmert sich um die Verteilung der einzelnen Topologien innerhalb des Clusters und damit um die Bereitstellung des Projektcodes und der ben\u00f6tigten Ressourcen.<\/p>\n

\"Bjoern<\/a>Eine Topologie orchestriert dabei unterschiedliche Datenquellen-Objekte (Spouts) und die Daten verarbeitenden Objekte (Bolts) durch einen gerichteten Flussgraphen. Der Nimbus selbst ist zustandslos und kann ohne Probleme neu gestartet werden.<\/p>\n

Die Supervisor beherbergen die einzelnen Worker. Jeder Worker kann einen oder mehrere Executor einer Topologie in einer JVM ausf\u00fchren. Supervisor k\u00f6nnen jederzeit zur Laufzeit der Plattform hinzugef\u00fcgt oder entfernt werden.<\/p>\n

In der Version 1.0 von Apache Storm kann neuerdings auch ein Pacemaker Server hinzudefiniert werden, damit der Zookeeper-Cluster nicht zu stark belastet wird und die Netzwerkkommunikation bewusst kleingehalten wird.<\/p>\n

Um eine Topologie nur einmal ausrollen zu m\u00fcssen, ist es m\u00f6glich, einen verteilten Cache zu nutzen. So k\u00f6nnen beispielsweise Konfigurationsdateien zur Laufzeit adaptiert werden, ohne die Topologie neu starten zu m\u00fcssen.<\/p>\n

Die str\u00f6menden Daten k\u00f6nnen mithilfe von in L\u00e4nge und Intervall definierbaren Fenstern (Windows) berechnet werden. Dadurch k\u00f6nnen z. B. klassische Streaming-Szenarien, wie die Top-Trends bei sozialen Nachrichten, kalkuliert werden.<\/p>\n

Das SAP Smart Data Streaming besteht auf der untersten Architekturebene aus dem Streaming Server und einem Strea\u00adming Cluster. Jeder der Komponenten muss auf dedizierter Hardware installiert werden.<\/p>\n

Ein Streaming Cluster gliedert sich in einem oder mehreren Knoten (Clients), welche die Laufzeitumgebung der Streaming-Projekte darstellen. Weitere Knoten k\u00f6nnen zur Laufzeit beliebig erg\u00e4nzt werden. Wenn das Cluster installiert und konfiguriert wurde, kann ein Projekt erstellt und innerhalb eines Workspace ausgef\u00fchrt werden.<\/p>\n

Ein oder mehrere Workspaces k\u00f6nnen auf einem Cluster betrieben werden, um zum Beispiel eine inhaltliche Trennung von Projekten zu gew\u00e4hrleisten. Denn ein Workspace definiert einen Namensraum im laufenden Projekt und erlaubt ebenso, die Zugriffsrechte zu definieren.<\/p>\n

Damit ergeben sich durch unterschiedliche Zugriffsrechte automatisch unterschiedliche Workspaces. Projekte sind die kleinste Einheit, welche auf dem Cluster ausgef\u00fchrt werden kann, die es erlaubt die Gesch\u00e4ftslogik zu definieren. Dies geschieht in einem Projekt \u00fcber die Komponenten Stream, Window und Adapter.<\/p>\n

Alle drei Komponenten sind in Einzahl oder mehrfach benutzbar. Bei Stream und Window handelt es sich um die verarbeitende Einheit f\u00fcr die einstr\u00f6menden Daten. Die in das System flie\u00dfenden Daten k\u00f6nnen mithilfe der zustandslosen Streams oder der zustandsbehafteten Windows transformiert, angereichert oder aggregiert werden.<\/p>\n

Um den Zustand jederzeit parat zu haben, nutzen Windows einen Richtlinien-basierten Datenbank-Speicher. Mithilfe der Richtlinien kann eine maximale Anzahl der Zeilen oder eine zeitliche Beschr\u00e4nkung definiert werden, um die Daten bereitzuhalten.<\/p>\n

Beispielsweise k\u00f6nnen f\u00fcr f\u00fcnf Minuten in das System str\u00f6mende Daten gespeichert werden und so kann zum Beispiel eine Abweichung in Betriebstemperaturen oder beim Druck einer Maschine identifiziert werden.<\/p>\n

Die Realisierung des Cache ist dabei standardm\u00e4\u00dfig als Rolling Windows definiert. Dies kann jedoch auch per Schl\u00fcsselwort zu einem springenden Fenster umfunktioniert werden. Dies h\u00e4tte zur Folge, dass die Daten nach dem definierten Zeit- oder Zeilenintervall automatisch gel\u00f6scht werden und nicht mehr kontinuierlich rollend \u00fcberschrieben.<\/p>\n

Die Adapter innerhalb eines Projektes verbinden Streams und Windows mit Datenquellen und Datenendpunkten. Adapter k\u00f6nnen dabei Informationen von Events ohne eine weitere Operation akzeptieren oder eine der folgenden Aktionen durchf\u00fchren: insert, update, delete, upset, safedelete.<\/p>\n

Dies erm\u00f6glicht die Verbindung unterschiedlichster Datenquellen und -endpunkte in unterschiedlichen Betriebsmodi. Dabei ist zu beachten, dass Streams aufgrund ihrer Definition keine vorherigen Datens\u00e4tze modifizieren k\u00f6nnen.<\/p>\n

\"Boetcher<\/a><\/p>\n

Sprachf\u00e4higkeiten<\/h3>\n

Apache Storm basiert auf Java und Python und bietet nativ einen Zugang zur Nutzung der vollen Sprachvielfalt von Java. Ferner ist es m\u00f6glich, auch Code jeder anderen Sprache mithilfe von Distributed RPC auszuf\u00fchren. Beliebtes Beispiel zur Integration von anderen Sprachen in die reine Java-Entwicklung ist die Nutzung von Python, wenn es zum Beispiel um die Nutzung von Bibliotheken aus dem Bereich des Machine Learning geht.<\/p>\n

Hier wird dann aus dem Java-Quellcode direkt das Python-Programm aufgerufen und die Daten-Tutel direkt \u00fcbergeben. Die Python-Anwendung f\u00fchrt dann die Berechnungen aus und liefert das Ergebnis wieder an das aufrufende Java-Programm zur\u00fcck, und somit ist der Fluss der Topologie nicht unterbrochen.<\/p>\n

SAP Smart Data Streaming nutzt eine eigene Sprache zur Programmierung der Streaming-Anwendung. Die Event-basierte Continuous Computation Language (CCL) basiert auf einer SQL-Syntax und kann mithilfe von CCL-Skripten erweitert werden.<\/p>\n

Um bei der Analogie zu SQL zu bleiben, kann man sich CCL als eine unendlich wiederholte und dynamische Ausf\u00fchrung von SQL-Abfragen vorstellen, wobei die Ausf\u00fchrung von Ereignissen der Datenstr\u00f6me angeregt wird. Die CCL-Skripte erm\u00f6glichen es Entwicklern, benutzerdefinierte Funktionen und Operatoren zu schreiben.<\/p>\n

Die Syntax der Skripte ist dabei \u00e4hnlich zu der Programmiersprache C. Alle Streaming-Projekte werden in CCL geschrieben und dann kompiliert und als ausf\u00fchrbare CCX-Dateien im Streaming-Server hinterlegt.<\/p>\n

Ein klassisches Beispiel f\u00fcr die Nutzung von CCL-Skripten ist die Definition von flexiblen Operatoren. Diese erm\u00f6glichen die Erstellung von eigenen W\u00f6rterb\u00fcchern. Damit w\u00e4re es dann z. B. m\u00f6glich, die Zeitspanne zwischen zwei benutzerdefinierten Ereignissen zu bestimmen.<\/p>\n

Ein sch\u00f6nes Feature ist die Debugging-M\u00f6glichkeit, welche es erlaubt, von einem Datum bis zu einzelnen gecachten Streams kontrolliert Testdaten in das System zu spielen.<\/p>\n

Definition der Projekte<\/h3>\n

Die Generierung von Topologie bei Apache Storm basiert auf einer Java-Klasse, welche die notwendigen Komponenten mithilfe unterschiedlicher Groupings (Routingvariationen) zusammenf\u00fcgt. Diese Groupings regeln den Fluss der Daten und konservieren Informationen w\u00e4hrend der Verarbeitungsschritte.<\/p>\n

Beim SAP Smart Data Strea\u00adming erstellt man visuell die Projekte und reichert die einzelnen Elemente mit Logik an. Der wesentliche Teil der Modellierung des Streamingprojektes beim SAP Smart Data Streaming geschieht \u00fcber die SQL-\u00e4hnliche Syntax.<\/p>\n

Freiheit und Bindung: \u00d6kosysteme<\/h3>\n

Ein Streaming von Daten allein macht noch keine Applikation aus. Daher lebt auch eine Streaming-Plattform von ihrem \u00d6kosystem. Bei Apache Storm ist dies der ganze Zoo der Apache-Familie und dar\u00fcber hinaus alles, was sich mit Java irgendwie ansprechen l\u00e4sst. Damit ist die Flexibilit\u00e4t sehr hoch und die Integrationsf\u00e4higkeit auch immens.<\/p>\n

Beim Kontrahenten von SAP sieht es prinzipiell erst einmal etwas beschr\u00e4nkter aus, da die Plattform prim\u00e4r auf das SAP-eigene \u00d6kosystem abzielt. Jedoch sind mit SAP Smart Data Streaming Lite, SAP Hana und beispielsweise Siemens MindSphere auch viele Anwendungsbereiche eines Unternehmens bereits abgedeckt.<\/p>\n

Interessant ist dabei die SAP-Smart-Data-Streaming-\u00adLite-Version, welche es erm\u00f6glicht, die Vorverarbeitung der Daten bereits auf ein embedded Ger\u00e4t auszulagern. Damit erweitert SAP die Streaming-Plattform auch proaktiv auf das IoT-Umfeld.<\/p>\n

\"Apache<\/a><\/p>\n

Tauglichkeit im Unternehmensumfeld<\/h3>\n

Beide Vertreter der Streaming-Plattform sind f\u00fcr den Einsatz im Unternehmensumfeld geeignet. Alle Fragestellungen bez\u00fcglich der Punkte Sicherheit, Skalierbarkeit & Ressourcenmanagement, Support, Entwicklungsstatus des Projekts (\u201eOpen Source\u201c), Service-Level-Agreements, Integrationsf\u00e4higkeit mit bestehenden Systemen und Wartbarkeit k\u00f6nnen beide Vertreter ohne Probleme meistern.<\/p>\n

SAP kennt sich bestens aus im Unternehmensumfeld und deckt mit seiner Erfahrung viele Szenarien und Bed\u00fcrfnisse ab. Bei Apache Storm sieht es genau umgekehrt aus. Die Software stammt aus dem Open-Source-Umfeld und hat sich in die Unternehmenslandschaft hinein entwickelt.<\/p>\n

Mit dem k\u00fcrzlich erschienenen Release 1.0 ist auch die notwendige Reife des Projektes vorhanden. Mit der Unterst\u00fctzung von Kerberos steht auch dem sicheren Einsatz im Unternehmenskontext nichts im Weg.<\/p>\n

Auch die oftmals angesprochene Schwachstelle des Nimbus als ein Single Point of Failure kann mit der entsprechenden Strategie (Beispiel: Hortonworks Blog<\/a>) umgangen werden.<\/p>\n

Aussicht und Empfehlung<\/h3>\n

Unternehmen, die beispielsweise in den Bereichen Industrie 4.0, Telematics, Healthcare, E-Commerce eine Streaming-L\u00f6sung im eigenen Hause umsetzen m\u00f6chten, k\u00f6nnen sowohl auf SAP Smart Data Streaming als auch auf Apache Storm setzen. Beide Technologien k\u00f6nnen Strea\u00adming-Aufgaben erf\u00fcllen.<\/p>\n

Bei der SAP-L\u00f6sung schl\u00e4gt negativ zu Buche, dass eine dedizierte Hardware notwendig ist, ein verteiltes Dateisystem erforderlich ist, zus\u00e4tzliche Kosten f\u00fcr Lizenzen anfallen, die Plattform bisher nur auf das SAP-\u00d6kosystem ausgerichtet ist, eine zus\u00e4tzliche Lernkurve f\u00fcr CCL notwendig ist und es noch keine gro\u00dfe Entwickler-Gemeinde gibt.<\/p>\n

Demgegen\u00fcber steht bei Apache Storm nur der fehlende native Monitoring-Support, welcher durch das umfangreiche \u00d6kosystem wieder abgemildert wird. Somit bleibt festzuhalten, dass SAP eine gute L\u00f6sung implementiert hat, welche zu Anfang sehr komplex erscheint, jedoch erlernbar ist. Offener, flexibler und kosteng\u00fcnstiger ist man aber mit der Open-\u00adSource-Variante unterwegs.<\/p>\n","protected":false},"excerpt":{"rendered":"

F\u00fcr die Echtzeitanalyse von Daten gibt es am Markt einige sich entwickelnde Technologien und auch etablierte L\u00f6sungen. Mit SAP Smart Data Streaming und Apache Storm m\u00f6chten wir sowohl einen sehr Enterprise-nahen Vertreter als auch einen Vertreter aus dem Open-Source-Umfeld beleuchten.<\/p>\n","protected":false},"author":1189,"featured_media":26605,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[5,1608],"tags":[797,75,606,13940,92,480],"coauthors":[29460],"class_list":["post-26595","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-it-management","category-mag1606","tag-apache","tag-cluster","tag-daten","tag-echtzeitdaten","tag-java","tag-machine-learning","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",400,184,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-768x354.jpg",768,354,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-100x46.jpg",100,46,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-480x221.jpg",480,221,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-640x295.jpg",640,295,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-720x332.jpg",720,332,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-960x443.jpg",960,443,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",1000,461,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",600,277,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374.jpg",600,277,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2017\/07\/Sergey-Nivens_294081374-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

F\u00fcr die Echtzeitanalyse von Daten gibt es am Markt einige sich entwickelnde Technologien und auch etablierte L\u00f6sungen. Mit SAP Smart Data Streaming und Apache Storm m\u00f6chten wir sowohl einen sehr Enterprise-nahen Vertreter als auch einen Vertreter aus dem Open-Source-Umfeld beleuchten.<\/p>\n","category_list_v2":"IT-Management<\/a>, MAG 16-06<\/a>","author_info_v2":{"name":"Bj\u00f6rn B\u00f6ttcher, Crisp Research","url":"https:\/\/e3mag.com\/de\/author\/bjoern-boettcher\/"},"comments_num_v2":"0 comments","_links":{"self":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/26595","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/users\/1189"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/comments?post=26595"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/26595\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media\/26605"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media?parent=26595"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/categories?post=26595"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/tags?post=26595"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/coauthors?post=26595"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}