{"id":141472,"date":"2024-04-03T11:08:04","date_gmt":"2024-04-03T09:08:04","guid":{"rendered":"http:\/\/e3mag.com\/?p=141472"},"modified":"2026-02-20T08:43:39","modified_gmt":"2026-02-20T07:43:39","slug":"ende-des-datenchaos","status":"publish","type":"post","link":"https:\/\/e3mag.com\/de\/ende-des-datenchaos\/","title":{"rendered":"Ende des Datenchaos"},"content":{"rendered":"\n

Das Problem<\/strong><\/h2>\n\n\n\n

Jay Kreps ist der Gr\u00fcnder und CEO von Confluent und einer der urspr\u00fcnglichen Autoren des Open-Source-Projekts Apache Kafka. Er versucht ein Problem zu l\u00f6sen, das vielen bekannt ist: Die Daten sind nicht auf dem neuesten Stand, die Verbindungen sind br\u00fcchig und es ist ein st\u00e4ndiger Kampf, die Daten in vollem Umfang zu nutzen, weil es keine einheitliche Struktur gibt, um die Daten zwischen den verschiedenen Bereichen eines Unternehmens zu organisieren. Ein System ist von Anfang an vorhanden und dann werden neue Verbindungen, neue Dr\u00e4hte, hinzugef\u00fcgt, was zu einem Sammelsurium von Unordnung f\u00fchrt.<\/p>\n\n\n\n

Viele aktuelle Angebote bieten nur L\u00f6sungen f\u00fcr die analytische Seite der Daten, aber nicht f\u00fcr die operative Seite, und umgekehrt. Unternehmen m\u00fcssen jedoch in der Lage sein, auf alle ihre Daten in vollem Umfang zuzugreifen, insbesondere wenn sie die Implementierung von KI in ihrem Unternehmen planen. Jede KI, die sie entwickeln, kann nur so gut sein wie die Daten, mit denen sie trainiert wird.<\/p>

\"\"<\/a><\/div><\/div>\n\n\n\n

Zust\u00e4ndigkeiten, Technologien und Prozessen<\/strong><\/h2>\n\n\n\n

Andere haben versucht, das Chaos in den Griff zu bekommen, indem sie die L\u00fccke zwischen dem operativen Bereich, in dem die Anwendungen zur Verwaltung des Unternehmens laufen, und dem analytischen Bereich, in dem die Daten analysiert und finanzielle Aspekte ausgewertet werden, mit anderen Mitteln, z. B. mit Data-Lake-Technologien, geschlossen haben. Der Gr\u00fcnder und CEO von Kafka Apache, Jay Kreps, ist jedoch durchaus ehrgeizig und versucht, das Problem der un\u00fcbersichtlichen Datensysteme und -infrastrukturen zu l\u00f6sen. Kreps hat ein universelles Datenprodukt als L\u00f6sung vorgeschlagen, das Daten-Streaming als Mittel einsetzt, um Unternehmen den Zugriff auf und die Filterung von Daten in Echtzeit zu erm\u00f6glichen \u2013 was nach Jay Kreps\u2019 Definition einfach bedeutet, dass sie sehr schnell sind, und zwar sowohl im operativen als auch im analytischen Bereich, wobei niedrige Latenzzeiten der Standard sind.<\/p>\n\n\n\n

Laut Confluent ist ein Datenprodukt ein zuverl\u00e4ssiger Datensatz, der speziell f\u00fcr die gemeinsame Nutzung und Wiederverwendung mit anderen Teams und Diensten entwickelt wurde. Es ist eine Formalisierung von Zust\u00e4ndigkeiten, Technologien und Prozessen, die es den Nutzern erm\u00f6glicht, einfach auf die ben\u00f6tigten Daten zuzugreifen.<\/p>\n\n\n\n

Das Datenprodukt von Confluent ist eine dreiteilige End-to-End-L\u00f6sung f\u00fcr Daten-Streaming \u2013 ein dreifacher Angriff auf das Datenchaos \u2013, bestehend aus der Confluent Data Streaming Platform, die die zentrale Streaming-Funktionalit\u00e4t bereitstellt, Apache Flink, das die Echtzeitverarbeitung erm\u00f6glicht, und Iceberg, mit dem die Ergebnisse visualisiert und in Tabellenformaten geteilt werden k\u00f6nnen. Architekturen f\u00fcr KI-Anwendungen, die sowohl die operative als auch die analytische Welt umfassen, erfordern Stapelverarbeitung, und Streaming ist eine Verallgemeinerung der Stapelverarbeitung, eine Obermenge davon.<\/p>\n\n\n\n

Daten-Streaming-Plattform<\/strong><\/h2>\n\n\n\n

Die Confluent Data Streaming Platform ist ein cloudnatives, serverloses Angebot, das Kora integriert, die neue Kafka-Engine f\u00fcr die Cloud mit unendlichem Speicher, die angeblich sechzehnmal schneller ist als das urspr\u00fcngliche Apache Kafka. Apache Kafka ist ein verteiltes System, ein PubSub-Modell, bei dem Produzenten in der Lage sind, Nachrichten \u2013 also Daten in Echtzeit \u2013 an die Daten-Streaming-Plattform zu senden, und alle nachgelagerten Konsumenten, die mit diesen Daten in einer One-to-many-Methode arbeiten wollen, k\u00f6nnen darauf zugreifen und direkt damit arbeiten. Die Confluent-Plattform baut auf Apache Kafka auf und erleichtert Daten-Streaming-Funktionen, indem sie die Notwendigkeit f\u00fcr Unternehmen verringert, das urspr\u00fcngliche System zu verwalten. Sie bietet zus\u00e4tzliche Zug\u00e4nglichkeit zu Apache Kafka, indem sie den Overhead, die Kosten und die anderen Herausforderungen der Verwaltung von Open-Source-Software eliminiert.<\/p>\n\n\n\n

SAP-Integration<\/strong><\/h2>\n\n\n\n

Ein wichtiger Teil der Entwicklung von Confluent ist die SAP-Integration. Da SAP ein Kernangebot von Confluent ist, wird die Integration direkt in die SAP-Konsole eingebaut. Confluent erm\u00f6glicht es SAP-Kunden, auf ihre SAP-Daten zuzugreifen und sie in Echtzeit mit allen verschiedenen Datenquellen zusammenzuf\u00fchren, wie z. B. IoT-Daten, Daten aus Marketing-Tools, Echtzeit-Klickstr\u00f6men aus dem Internet und anderen Quellen, sodass sie diese in Echtzeit als vollst\u00e4ndiges Datenprodukt an Datenbanken, Data Warehouses, Data Lakes und KI-ML-Tools weiterleiten k\u00f6nnen. <\/p>\n\n\n\n

SAP-Kunden erhalten die M\u00f6glichkeit, direkt von SAP Datasphere aus auf die Confluent-Data-Streaming-Plattform und vollst\u00e4ndig verwaltete Datenstr\u00f6me zuzugreifen. Das bedeutet, dass Anwender bei der Arbeit mit Datasphere auf der BTP (Business Technology Platform), sie zus\u00e4tzlich die M\u00f6glichkeit haben, ein Echtzeitschreiben dieser Daten in vollst\u00e4ndig verwaltete Datenstr\u00f6me auf der Confluent-Seite zu konfigurieren. Auf diese Weise k\u00f6nnen Anwender ERP-Daten aus SAP heraus freischalten und diese Daten in nachgelagerte Bereiche verschieben, um Anwendungen und Analysen mit Echtzeitdaten zu versorgen.<\/p>\n\n\n\n

Flink<\/strong><\/h2>\n\n\n\n

Die zweite S\u00e4ule des dreiteiligen Angriffs nach der Confluent-Data-Streaming-Plattform ist Apache Flink. Flink ist einen Open-Source-Stromverarbeitungsdienst bereitstellt, der wie eine Batch-Systemverarbeitung funktioniert. Confluent behauptet, dass Flink ebenso wie die Kora-Suchmaschine sechzehnmal schneller ist als Apache Kafka, was es zu einem Add-on macht, das man in Betracht ziehen sollte, wenn Geschwindigkeit eine Priorit\u00e4t ist. Das Produkt erm\u00f6glicht es den Nutzern, Daten ohne eine einzige Zeile Code zu verarbeiten, was die Verwaltung f\u00fcr Mitarbeiter mit weniger spezialisierten Kenntnissen erleichtert, obwohl es f\u00fcr Interessierte auch Codierungsoptionen gibt. Flink erm\u00f6glicht auch die Verarbeitung kontinuierlicher Datenstr\u00f6me mit niedriger Latenz und hohem Durchsatz, mit zus\u00e4tzlichen F\u00e4higkeiten wie speziellen Verarbeitungssemantiken und Unterst\u00fctzung f\u00fcr mehrere APIs.<\/p>\n\n\n\n

Iceberg<\/strong><\/h2>\n\n\n\n

Die dritte S\u00e4ule nach Flink ist Apache Iceberg. Iceberg ist ein Open-Source-Projekt und eines der offenen Standard-Tabellenformate f\u00fcr das gesamte \u00d6kosystem der Analysetools, wie z. B. Snowflake. Es erm\u00f6glicht den Nutzern den Zugriff auf Tabellen aus den gespeicherten Daten im Cloud-Speicher und erlaubt eine breite gemeinsame Nutzung. Dar\u00fcber hinaus gibt es eine breite Community, die das Iceberg-Format nutzt, und dieses \u00d6kosystem wird in den kommenden Jahren weiterwachsen, was bedeutet, dass zus\u00e4tzliche Optionen und Funktionalit\u00e4ten f\u00fcr Iceberg-Nutzer verf\u00fcgbar sein werden, auch von anderen Anbietern.<\/p>\n\n\n\n

Zu den weiteren herausragenden Merkmalen geh\u00f6ren atomare Transaktionen, bei denen die Daten entweder vollst\u00e4ndig festgeschrieben oder vollst\u00e4ndig ausgelagert werden, um Datenbesch\u00e4digungen oder -verluste zu verhindern; die Schema-Evolution, die die \u00c4nderung von Spalten ohne Unterbrechung bestehender Daten oder Abfragen erm\u00f6glicht; und die Zeitreise, die leider keine Zeitmaschinen beinhaltet, sondern es den Benutzern erm\u00f6glicht, Daten so abzufragen, wie sie zu einem bestimmten Zeitpunkt bestanden.<\/p>\n\n\n\n

Durch die Einbeziehung von Iceberg kann das Angebot ein einheitliches System bieten, das Datenstr\u00f6me in Kafka und gemeinsame Tabellen in Iceberg erm\u00f6glicht. Genau dieselben Daten aus der Kora-Cloud-Engine werden dann als Iceberg-Tabellen zur Verf\u00fcgung gestellt. Der Datenfluss erfolgt in drei Phasen. In Phase eins flie\u00dfen die in der Kora-Engine gespeicherten Daten in Iceberg. In der zweiten Phase erfolgt der Datenfluss bidirektional, d. h., die Daten werden von beiden Standorten aus verf\u00fcgbar. In der dritten Phase sind dann alle Iceberg-Daten (Tabellen usw.) \u00fcber Kafka verf\u00fcgbar.<\/p>\n\n\n\n

Governance<\/strong><\/h2>\n\n\n\n

Bei der Arbeit mit Daten ist die Kenntnis der Data-Governance-Richtlinien eines Unternehmens nat\u00fcrlich von entscheidender Bedeutung. In der Confluent-Plattform wird die Governance von Anfang an als Stream implementiert. Weitere Faktoren, die bei der Governance eine Rolle spielen, sind Stream-Qualit\u00e4t, Stream-Katalog und Stream-Lineage. Die Stream-Qualit\u00e4t besteht aus Datenintegrit\u00e4t, Datenregeln und Vertr\u00e4gen; sie stellt sicher, dass f\u00fcr alle Daten, die die Plattform durchlaufen, Standards vorhanden sind. Der Stream-Katalog und die Stream-Lineage erm\u00f6glichen dem Benutzer eine visuelle Darstellung der Datenbewegungen und der Ver\u00e4nderungen, die sie entlang ihrer Flugbahn erfahren haben. Die integrierte und vollst\u00e4ndige Governance-Suite ist Teil des Datenprodukts und stellt eine weitere M\u00f6glichkeit dar, das Problem des Datenchaos zu l\u00f6sen, indem die Arbeitslast des Sicherheitsteams verringert wird.<\/p>\n\n\n\n

Ende des Datenchaos<\/strong><\/h2>\n\n\n\n

F\u00fcr SAP-Anwender, die mit dem Datenchaos in Datasphere auf der BTP (Business Technology Platform) zu k\u00e4mpfen haben, k\u00f6nnte die umfassende dreiteilige Daten-Streaming-L\u00f6sung genau der Lichtblick sein, den sie suchen. Die Benutzer k\u00f6nnten nicht nur ihre Daten rationalisieren, sondern auch die mit der Verwaltung komplexer Datenstr\u00f6me verbundene Arbeitslast verringern. Durch die Nutzung dieses Dreiergespanns aus Apache-Technologien \u2013 der Daten-Streaming-Plattform von Confluent, den Stream-Processing-Funktionen von Flink und dem Tabellenformat von Iceberg f\u00fcr die Datenverwaltung \u2013 haben SAP-Anwender die M\u00f6glichkeit, eine bessere Kontrolle \u00fcber ihre Daten zu erlangen und neue Effizienzpotenziale zu erschlie\u00dfen, sodass sie wertvolle Zeit und Ressourcen f\u00fcr die Verbesserung anderer Aspekte ihres Betriebs einsetzen k\u00f6nnen. Dies ist eine von vielen interessanten Optionen, die SAP-Anwendern zur Verf\u00fcgung stehen, und das E3-Magazin wird die zuk\u00fcnftige Entwicklung von Confluent bei Daten-Streaming-L\u00f6sungen mit gro\u00dfem Interesse verfolgen.<\/p>\n\n\n\n

confluent.io<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Das E3-Magazin war zum Kafka Summit London 2024 eingeladen. Hier sind unsere Beobachtungen zu den neuesten Innovationen in der Kafka-Apache-Welt.<\/p>\n","protected":false},"author":2713,"featured_media":141473,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"0","footnotes":""},"categories":[5,43945],"tags":[43933],"coauthors":[43310],"class_list":["post-141472","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-it-management","category-mag-24-05","tag-data-streaming","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-400x180.jpg",400,180,true],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-18x8.jpg",18,8,true],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-600x270.jpg",600,270,true],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-600x450.jpg",600,450,true],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

Das E3-Magazin war zum Kafka Summit London 2024 eingeladen. Hier sind unsere Beobachtungen zu den neuesten Innovationen in der Kafka-Apache-Welt.<\/p>\n","category_list_v2":"IT-Management<\/a>, MAG 24-05<\/a>","author_info_v2":{"name":"Laura Cepeda","url":"https:\/\/e3mag.com\/de\/author\/laura-cepeda\/"},"comments_num_v2":"0 comments","_links":{"self":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/141472","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/users\/2713"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/comments?post=141472"}],"version-history":[{"count":12,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/141472\/revisions"}],"predecessor-version":[{"id":141616,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/141472\/revisions\/141616"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media\/141473"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media?parent=141472"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/categories?post=141472"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/tags?post=141472"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/coauthors?post=141472"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}