Confluent-Integration in SAP: Interview mit Greg Murphy von Confluent

Greg Murphy ist Staff Product Marketing Manager und konzentriert sich auf die Entwicklung und Förderung des Technologiepartnerprogramms von Confluent. Er hilft Kunden dabei, besser zu verstehen, wie die Daten-Streaming-Plattform von Confluent in das größere Partner-Ökosystem passt. Bevor er zu Confluent kam, war Greg Murphy in den Bereichen Produktmarketing und Produktmanagement bei Salesforce und Google Cloud tätig.

Greg Murphy, Staff Product Marketing Manager, Confluent

E3: Können Sie mehr über die Integration von Confluent in SAP erzählen?

Bei unserem SAP-Angebot konzentrieren wir uns darauf, SAP- und BTP-Kunden die Möglichkeit zu geben, ihre ERP-Daten überall hinzuverschieben. Wenn SAP-Kunden also über den Aufbau von Echtzeit-Kundenerfahrungen, moderne Analysen und die Art von Lösungen nachdenken, die ihr Unternehmen benötigt, bedeutet das nicht immer, dass diese Daten in SAP verbleiben können; sie müssen nachgelagert in Tools und Anwendungen von Drittanbietern übertragen werden, um diese zum Leben zu erwecken.

Wenn wir also in erster Linie darüber nachdenken, haben Sie die Optionen hinzugefügt, die den SAP-Kunden zur Verfügung stehen. Am häufigsten nutzen diese Kunden heute die Open-Source-Technologie Apache Kafka, eine Daten-Streaming-Technologie, die es den Kunden ermöglicht, diese Aktivitäten ereignisbasiert zu erfassen und nachgelagert zu streamen, wohin auch immer sie gehen sollen. Confluent wurde von den Erfindern von Apache Kafka entwickelt. Wir haben eine cloudnative, vollständig verwaltete Daten-Streaming-Plattform entwickelt, deren Epizentrum Kafka ist. Sie ermöglicht es Unternehmen, den operativen Overhead, die Kosten und die Herausforderungen bei der Verwaltung der Open-Source-Technologie vollständig zu eliminieren. Die Kunden sind in der Lage, die Vorteile des Daten-Streamings zu nutzen, sodass sie in der Lage sind, ein intelligentes Echtzeitunternehmen zu werden, das mit diesen ERP-Daten arbeiten kann, wo immer sie benötigt werden.

E3: Was genau macht eine Daten-Streaming-Plattform?

Apache Kafka ist eine Open-Source-Technologie, die 2011 bei LinkedIn gegründet wurde. Sie wurde von den Confluent-Gründern ins Leben gerufen, weil es damals einen Bedarf an Echtzeit-Datenbewegungen innerhalb von LinkedIn mit der Technologie gab, die noch nicht existierte. Wenn man also über ereignisbasierte Aktivitäten nachdenkt – jedes Mal, wenn jemand auf LinkedIn eine Nachricht likt oder antwortet, also jede Art von Aktivität –, gab es eine Reihe von Systemen, die diese Aktivitäten kennenlernen und verstehen wollten, um darauf Prozesse aufbauen zu können. Genau dafür wurde Kafka ursprünglich geschaffen.

Der wichtigste anfängliche Anwendungsfall ist ein PubSub-Modell, bei dem Produzenten in der Lage sind, Nachrichten an die Daten-Streaming-Plattform zu senden, und alle nachgelagerten Verbraucher, die mit diesen Daten in einer Eins-zu-viel-Methode arbeiten wollen, können sie abholen und elegant mit diesen Daten arbeiten. Anstelle einer Punkt-zu-Punkt-Lösung, bei der jede einzelne vorgelagerte Anwendung oder jedes Tool die direkte Integration mit allen nachgelagerten Diensten, die diese Daten benötigen, aufrechterhalten muss, ist dies ein viel eleganteres Modell, das es all diesen Produzenten ermöglicht, einmal in die Daten-Streaming-Technologie zu produzieren, und dann können die Verbraucher so viele dieser Feeds abonnieren oder lesen, wie sie wollen. Es bietet einem Unternehmen eine sehr elegante Möglichkeit, alle Daten im gesamten Unternehmen zu übertragen und ein zentrales Nervensystem in Echtzeit zu schaffen. Das ist Apache Kafka. Im Kern ist es ein verteiltes System.

E3: Wodurch unterscheidet sich die Confluent Data Platform?

Apache Kafka ist zwar eine sehr leistungsfähige und weit verbreitete Technologie für das Daten-Streaming und die Echtzeitbewegung von Daten im gesamten Unternehmen, aber für die meisten Unternehmen ist es sehr schwierig, sie zu betreiben, zu skalieren und wirklich erfolgreich zu nutzen. Es wird mehrere Jahre dauern, bis die meisten Unternehmen einen echten Nutzen aus der Technologie ziehen können, wenn man die Infrastrukturressourcen, die Vollzeitmitarbeiter, die für die Aufrechterhaltung des Betriebs verantwortlich sein werden, sowie die Risiken und Herausforderungen, die damit verbunden sein könnten, berücksichtigt.

Kafka ist sehr leistungsfähig, aber es handelt sich um eine schwerfällige, mühsame und umfangreiche Technologie, die zwar einen Mehrwert bietet, aber die Teams vom Kerngeschäft ablenkt. Ein Einzelhändler beispielsweise, der auf Apache Kafka angewiesen ist, wird von seinen Downstream-Kunden nicht gerade gelobt, weil er Kafka so gut verwaltet. Der Einzelhändler möchte sich auf neue, kundenwirksame Anwendungsfälle konzentrieren, die die Echtzeitdaten, auf die er Zugriff hat, nutzen. Das Ziel von Confluent ist es, auf dieser Open-Source-Technologie aufzubauen und den Kunden in den verschiedensten Branchen den vollen Wert einer Daten-Streaming-Plattform zu bieten, während die Belastungen, die Herausforderungen und die Kosten für die Verwaltung dieser Open-Source-Technologie wegfallen, denn darin liegt nicht der Wert für unsere Kunden und nicht das, was sie auf den Markt bringen wollen. Das ist es, was wir tun. Und genau darin liegt unsere Kompetenz.

E3: Können Sie das näher erläutern?

Es gibt drei Säulen, die die Confluent Data Streaming Platform wirklich von dieser Open-Source-Technologie unterscheiden. Die erste ist, dass Confluent cloudnativ ist. Wir haben Apache Kafka, die Open-Source-Technologie, genommen und sie komplett für die Cloud umgestaltet. Es ist eine große Investition, diese Technologie in die Cloud zu bringen und es Kunden zu ermöglichen, mit ein paar Klicks einen Cluster aufzusetzen, der das gesamte Unternehmen betreiben kann.

All diese Funktionen sind in der sogenannten Kora-Engine zusammengefasst. Die Kora-Engine ist die Apache-Kafka-Engine, die speziell für die Cloud entwickelt wurde. Sie ist elastisch skalierbar. So können einzelne Cluster bis zu 20 Gigabyte pro Sekunde erreichen. Sie haben unendlich viel Speicherplatz.

E3: Können Sie ein Beispiel für diese Funktionen nennen und wie sie sich auf die Kunden auswirken?

Was wir innerhalb der Kora-Engine haben, ist eine elastische Skalierbarkeit von bis zu 20 Gigabyte pro Sekunde. Die größten Unternehmen der Welt können mit einem einzigen Klick auf Kafka zugreifen und die Verfügbarkeit von Kafka hoch- und runterskalieren, während es in der Vergangenheit für Unternehmen, die Open Source einsetzen, nur zwei Möglichkeiten gab. Entweder müssten sie Kafka mit einer teuren Infrastruktur ausstatten, um für Spitzenleistungen in der Urlaubssaison oder in besonderen Momenten des Unternehmens gerüstet zu sein, wobei die Infrastruktur für diese Momente stets auf hohem Niveau bereitstünde, was jedoch mit hohen Kosten verbunden wäre. Oder sie müssten ein großes Team haben, das sich Projekten widmet, um sich auf diese Momente vorzubereiten und Infrastruktur hinzuzufügen, und dann auf diese Momente reagieren, indem sie die gesamte Infrastruktur zurückziehen, um diese Kosten zu vermeiden.

Wie auch immer man es ausgibt, das ist eine sehr störende und teure Aktivität, auf die Unternehmen vorbereitet sein müssen. Innerhalb der Confluent Cloud bedeutet die elastische Skalierung, dass wir automatisch mit der Aktivität ansteigen, um sicherzustellen, dass die Kunden den Durchsatz und die Kapazität haben, die sie benötigen, um jeden Datenverkehr zu bewältigen, der über die Plattform kommt. Und wir skalieren dann automatisch herunter, wenn der Datenverkehr nachlässt, um sicherzustellen, dass wir kosteneffizient arbeiten und niemand zu viel bezahlen muss.

E3: Wie sieht es mit der Speicherung in der Kora-Engine aus?

Innerhalb der Kora-Engine gibt es unendlich viel Speicherplatz. Es sind nicht nur Echtzeitdaten, die durch die Plattform strömen, auf die die Kunden Zugriff haben. Sie können Daten speichern, und zwar eine unendliche Menge bei uns. Wir bieten ein Betriebszeit-SLA (Service Level Agreement) von 99,99 Prozent. Wir geben also hohe Garantien, dass die Plattform verfügbar ist. Außerdem garantieren wir niedrige Latenzzeiten und einen hohen Datendurchsatz über die Plattform. Alles in allem haben wir also mit dieser cloudnativen Säule die gesamte operative Belastung, die Kosten und die Ablenkung durch Apache Kafka übernommen und den gesamten Service in einer Cloud-Erfahrung neu aufgebaut, so wie es ein Kunde erwarten würde.

E3: Was ist die zweite Säule, die die Confluent Data Streaming Platform auszeichnet?

Die zweite Säule ist, dass Confluent vollständig ist. Unsere Kunden brauchen nicht nur Apache Kafka, um Echtzeiterlebnisse zu schaffen. Was sie brauchen, ist eine komplette Daten-Streaming-Plattform, die es ihnen ermöglicht, sie um Apache Kafka herum aufzubauen und wirklich effizient zu arbeiten. Dazu gehören auch Datenintegrationen, wie zum Beispiel SAP, die wir anbieten. Wir haben mehr als 120 vorgefertigte Source- und Sync-Integrationen in der Plattform. Daten-Streaming-Technologie ermöglichen Daten von überall her zu holen, wo sie produziert werden, und sie dorthin zu senden, wo sie konsumiert werden müssen. Unsere Kunden haben uns berichtet, dass die Entwicklung jeder einzelnen dieser Integrationen bis zu sechs Monate in Anspruch nimmt, zuzüglich eines lebenslangen Supports und Managements, um sie am Laufen zu halten. Für diese vorgefertigte Integration gibt es wiederum über 120, sodass die Kunden diese Zeit sparen, automatisch auf alle benötigten Daten zugreifen und die Daten überall hinschicken können, wo sie benötigt werden.

Da SAP ein Kernangebot ist, wird es direkt in die SAP-Konsole integriert. Es geht nicht nur darum, einfach auf SAP-Daten zuzugreifen und sie an einen der von uns angebotenen Standorte weiterzuleiten. Es gibt auch hochwertige Daten, die sich außerhalb des SAP-Systems befinden. Denken Sie an IoT-Daten, Daten aus Marketing-Tools, Echtzeit-Klickströme aus dem Internet – es gibt eine Vielzahl von Datenquellen, die erforderlich sein könnten. Wir ermöglichen es SAP-Kunden, auf ihre SAP-Daten zuzugreifen und sie in Echtzeit mit all diesen verschiedenen Datenquellen zusammenzuführen, sodass sie sie in Echtzeit als vollständiges Datenprodukt an Datenbanken, Data Warehouses, Data Lakes und KI-ML-Tools weiterleiten können.

Es ist die branchenweit einzige vollständig verwaltete Governance-Suite für Apache Kafka, die hochwertige Daten sichert und gewährleistet, sie aber auch für den Rest des Unternehmens zugänglich macht. So wird sichergestellt, dass mehr Personen im Unternehmen Zugang zu Echtzeitdaten haben, um die heute erwarteten Erfahrungen effizient zu gestalten.

E3: Was ist die dritte Säule, die die Confluent Data Streaming Platform auszeichnet?

Und schließlich ist es ein Angebot, das überall verfügbar ist. Ob in der Cloud – wir sind auf AWS, Azure GCP, über Clouds hinweg verfügbar –, die Fähigkeit, all diese Umgebungen miteinander zu verbinden und Daten zwischen ihnen zu senden, oder vor Ort mit der Confluent-Plattform und auch dort die Konnektivität. Also zwischen einer On-premises-Umgebung, einer Cloud-Umgebung und einer hybriden Umgebung, also wirklich ein zentrales Nervensystem. Echtzeitdaten für das gesamte Unternehmen sind das, was letztendlich aufgebaut werden kann.

E3: Wie lassen sich die beiden Plattformen speziell mit SAP BTP, der Business Technology Platform, integrieren?

Im Dezember haben wir eine externe Ankündigung über die Verfügbarkeit von Confluent im SAP-Store gemacht. Im Rahmen dieser Ankündigung stellten wir unsere direkte Integration zwischen SAP Datasphere, BTP und Confluent Cloud vor.

SAP-Kunden haben damit die Möglichkeit, direkt von SAP Datasphere aus auf die Confluent-Daten-Streaming-Plattform und vollständig verwaltete Datenströme zuzugreifen. Wenn ich also mit BTP arbeite, habe ich Zugang zu S/4 Hana ECC und anderen Tools auf der SAP-Seite. Als Benutzer habe ich dort die Möglichkeit, das Schreiben dieser Daten in Echtzeit in vollständig verwaltete Datenströme auf der Confluent-Seite zu konfigurieren. Dadurch werden die ERP-Daten aus SAP herausgeholt und können nachgelagert werden, um Anwendungen und Analysen mit Echtzeitdaten zu versorgen.

E3: In welchen Fällen wären diese Plattformen nicht anwendbar oder ideal für Lösungen für eine IT-Landschaft?

Ich denke, dass die Anwendungsfälle sehr breit gefächert sind. Sie sind sehr offen. Wir von Confluent sagen, dass die Kunden, mit denen wir zusammenarbeiten, wirklich eine fast unbegrenzte Anzahl von Anwendungsfällen erschlossen haben. Wir wissen, dass die Lösungen, die die Kunden aufbauen wollen, nicht immer ausschließlich von Daten aus SAP abhängen, und dass diese Daten allein nicht immer ausschlaggebend für einen Anwendungsfall sind. Daher ist es für SAP-Kunden von entscheidender Bedeutung, dass sie Zugang zu Daten jenseits von BTP und SAP-Systemen haben. Und das ist etwas, das wir auf der Plattform leicht zugänglich machen. Es sind nicht nur die vorgefertigten Konnektoren in der Plattform, die es Ihnen ermöglichen, Daten einfach nach unten zu verschieben. Sie können auch zusätzliche Daten aufnehmen, sie mit SAP-Daten zusammenführen und etwas aufbauen, das vollständiger und für die nachgelagerte Nutzung bereit ist.

E3: Was ist ein Vorteil der Confluent Data Streaming Platform?

Für das cloudnative Angebot hat sich gezeigt, dass unser Angebot die Gesamtbetriebskosten für Apache Kafka für Unternehmen um bis zu 60 Prozent senken kann. Wenn wir also über den Wert von Daten-Streaming sprechen – und da gibt es eine große Nachfrage von SAP-Kunden –, dann wollen sie mit Apache Kafka arbeiten; sie wollen das für ihre Kundenerfahrungen in Echtzeit nutzen. Confluent ist in der Lage, eine bessere Lösung für Kafka und daneben eine komplette Daten-Streaming-Plattform anzubieten, die die Gesamtbetriebskosten für Kafka um 60 Prozent senken wird. Dadurch gewinnen unsere Kunden Zeit zurück, um sich nicht auf die Verwaltung der Infrastruktur zu konzentrieren, sondern auf das, was ihr Geschäft tatsächlich vorantreiben wird. Und was ihre Kunden, ob intern oder extern, überraschen und begeistern wird.

E3: Welche Optionen würden Sie Kunden geben, die nach einer Integration mit S/4 Hana in der Cloud und mit BTP suchen?

Der beste Weg dorthin führt über die Datasphere-Integration, die wir entwickelt haben. Diese ist also direkt mit dem Datasphere-Tool innerhalb von BTP verbunden. Sie bezieht Daten aus S/4 Hana ECC, BW, es gibt eine Liste von mindestens fünf, sechs oder sieben verschiedenen Quellen auf der SAP-Seite, aber S/4 Hana steht dabei an erster Stelle. Das ist wirklich das Flaggschiff auf der SAP-Seite. Das ist also bei Weitem die Empfehlung auf unserer Seite für den einfachsten Weg, diese ERP-Daten freizugeben, um sie auf die Daten-Streaming-Plattform zu bringen und sie nachgelagert dorthin zu verschieben, wo sie benötigt werden. E-Commerce-Bestandsmanagement in Echtzeit, Fertigung, Anwendungsfälle IoT, KI, ML – das wird die Empfehlung von unserer Seite sein.

E3: Was bedeutet das speziell für ERP-Kunden?

Wir glauben, dass es für den Markt wichtig ist, das Angebot von Confluent zu verstehen, denn es ist in erster Linie ein intelligentes Echtzeitgeschäft, das die nachgelagerten Anwendungen mit ERP-Daten in Echtzeit versorgt. Die drei Säulen, auf die wir uns speziell für SAP konzentrieren, sind: erstens, die Erstellung von Echtzeitanwendungen zu geringeren Kosten. Dies geschieht mit der Kora-Engine und der Reduzierung der Gesamtbetriebskosten für Kafka um bis zu 60 Prozent.

Die zweite Säule ist das Streaming von SAP-Daten an jeden Ort, an dem sie benötigt werden, und die Zusammenführung mit anderen Quellen. Dies geschieht mit den 120 Konnektoren und der Stream-Verarbeitung mit Apache Flink (einem Open-Source-Batch-Processing-Framework).

Die letzte Säule besteht darin, den Kunden die Beibehaltung strenger Sicherheitsstandards zu ermöglichen, während sie von BTP auf die Confluent Cloud umsteigen. Wir verfügen über eine Reihe von Sicherheitsfunktionen in Unternehmensqualität, die auf der Plattform Standard sind. Zum Beispiel die Verschlüsselung von Daten im Ruhezustand und bei der Übertragung. Wir haben eine Reihe von verschiedenen Anpassungsfunktionen, private Netzwerke, Audit-Protokolle, eine ganze Reihe von Sicherheitsfunktionen, die auf der Plattform verfügbar sind. Sie verfügen über einen Standardsatz von Konformitätsstandards.

E3: Können Sie etwas mehr über die Governance-Funktionen der Plattform erzählen?

Wir bieten die einzige vollständig verwaltete Governance-Suite der Branche für Apache Kafka. Sie besteht aus mehreren Säulen: Stream-Qualität, Stream-Katalog und Stream-Lineage. Die Stream-Qualität ist wahrscheinlich das, woran man am häufigsten denkt, wenn man über Stream-Governance nachdenkt, und das sind Datenintegrität, Datenregeln, Verträge, die sicherstellen, dass für alle Daten, die die Plattform durchlaufen, Standards vorhanden sind. Dadurch wird auch sichergestellt, dass die Daten später leicht wiederverwendet werden können. Das ist standardmäßig vorhanden.

Wir haben auch einen Stream-Katalog und sowohl der Stream-Katalog als auch die Stream-Lineage sind die andere Seite der Governance – eine modernere Sichtweise der Governance. Sie sind Teil derselben Suite, aber sie konzentrieren sich nicht auf die Sperrung von Daten, sondern auf die Öffnung dieser Daten für den Stream-Katalog des Unternehmens.

Unser Datenportal ermöglicht es den Kunden der Daten-Streaming-Plattform zu verstehen, was zum Beispiel die hochwertigen Datenströme sind, die von SAP kommen. Während wir es also für SAP-Kunden unglaublich einfach machen, diese Datenströme zu erzeugen und sie zu Confluent zu leiten, sorgt der Datenkatalog auf unserer Seite und speziell das Datenportal dafür, dass die Kunden innerhalb der Confluent Cloud – also diejenigen, die unsere Plattform täglich nutzen – diese Datenströme sehen können und sich ihrer bewusst sind. Sie wissen, welche Daten zur Verfügung stehen, und können die gewünschten Tools erstellen.

E3: Können Sie ein Beispiel dafür nennen?

Ein Beispiel: Wir haben einen BTP-Benutzer und einen Confluent-Cloud-Benutzer. Der Confluent-Cloud-Benutzer könnte über den Katalog, den der BTP-Benutzer hat, einen Datenstrom finden, der die IoT-Daten aus der Fertigung enthält, die er haben möchte und braucht. Das ist also großartig. Sie haben etwas gefunden, das das Projekt vorantreibt. Die nächste Frage könnte jedoch lauten: Woher kommen diese Daten eigentlich? Was ist auf dem Weg dorthin mit ihnen geschehen? Wurden sie mit vielen anderen Daten zusammengeführt? Wie kann ich darauf vertrauen, dass ich diese Daten in meinem Projekt verwenden kann?

Stream-Lineage ist der dritte Teil der Governance-Suite, der den Kunden eine End-to-End-Ansicht dieser Datenströme in Form von „Google Maps“ bietet, damit sie verstehen, woher sie kommen, wohin sie gehen und was mit ihnen auf dem Weg passiert. Sie können dies über den Katalog tun. Und wenn sie sie mit der Abstammung finden, können sie leicht verstehen, was all diese Daten sind und wie sie sie nutzen können. Das ist also der dritte Punkt, den ich hinzufügen wollte: die Beibehaltung strenger Sicherheits-, Governance- und Compliance-Standards, die für SAP-Kunden aufrechterhalten werden können, wenn sie all diese Daten auf die Confluent-Data-Streaming-Plattform übertragen.

E3: Danke für das Interview!

confluent.io