Datasphere-Alternative

SAO experimentiert seit vielen Jahren an der optimalen Bereitstellung von Unternehmensdaten. Der erste Versuch war SAP Data Hub, dieses Konzept war gut, es verbrauchte aber zu viele Ressourcen und war somit nicht wirtschaftlich. Aktuell versucht es SAP mit dem sehr komplexen Konzept Datasphere, siehe auch Seite 48. Es geht aber auch anders, wie Richard Brouwer, Lead Sales Engineering Specialist für SAP bei Fivetran, und Benedikt Engel, Solutions Architect EMEA bei Snowflake, im exklusiven E-3 Doppelinterview erzählen.

E-3: Snowflake und Fivetran, was hat sie zueinander geführt und was verbindet sie?

Richard Brouwer, Fivetran: Snowflake und Fivetran sind schon seit rund einem Jahrzehnt Partner, außerdem sind wir Kunde des jeweils anderen. -Fivetran gilt als einer der Elite-Technologiepartner von Snowflake und ist Data Integration Partner des Jahres 2022. Beide Unternehmen haben es sich zur Aufgabe gemacht, Daten aus den Silos zu holen, und gemeinsam bieten wir eine Lösung an, mit der das gelingt. In der Regel stammen die Daten nicht aus Snowflake, sondern aus anderen Systemen. Fivetran bietet sofort einsetzbare, vollständig verwaltete Pipelines, die Daten in Snowflake einspeisen. Dabei macht uns auch unsere einzigartige Fähigkeit, SAP-Daten zu replizieren, zum bevorzugten Integrationspartner für Snowflake. Viele SAP-Kunden wissen, dass die Bereitstellung von SAP-Daten in Snowflake umständlich ist. Fivetran liefert diese Daten einfach und effizient in nahezu Echtzeit. Unser Ziel ist es, die Daten als perfekte Replikation der Quelle in Snowflake zu bringen. Snow-flake dient dann als vertrauenswürdiges, einziges Repository für alle Daten. 

Engel: Inzwischen heißt es nicht mehr „Daten sind das neue Öl“, sondern „Zeit ist das neue Öl“. Darum geht es auch bei Snowflake und Fivetran: Snowflake als Datenplattform und Fivetran als ELT, das Daten aus unzähligen Quellen in nahezu Realtime zur Verfügung stellt. Mit Snowflake werden die Daten harmonisiert und ausgewertet, was wertvolle Insights liefert und eine enorme Effizienz- und Effektivitätssteigerung bringt. Dadurch können wir uns nun neuen Fragestellungen widmen, für die vorher das Kosten-Nutzen-Verhältnis nicht gestimmt hat. 

E-3: Und konkret, wo ergänzen Sie sich?

Brouwer: Mit mehr als 400 Konnektoren stellt Fivetran die Daten aus einer Vielzahl von Quellen bereit – und zwar in einem Format, mit dem Kunden das Maximum aus ihren Daten auf der Snowflake-Plattform herausholen können. Zum Beispiel in Salesforce lassen sich SAP-Daten mit über 460 Third-Party-Quellen verbinden. Weil die Daten im richtigen Format und in der jeweils optimalen Häufigkeit verfügbar sind, lässt sich ihr Wert mit den Möglichkeiten der Snowflake-Plattform viel einfacher nutzen als mit anderen Lösungen. Auch wenn die Datenmenge und die Anzahl der Quellen exponentiell wachsen, haben unsere Snow-flake-Kunden stets alle Daten auf Knopfdruck zur Verfügung. 

Benedikt Engel, Snowflake: Snowflake stellt dann die Funktionalität zur Verfügung, um die Daten zu analysieren und mit weiteren Daten über den Snowflake Market-place anzureichern, oder macht sie in anderer Form gewinnbringend nutzbar, sodass Kunden die richtigen Entscheidungen treffen können.

E-3: Aus Sicht eines SAP-Bestandskunden mit ECC oder S/4, was können Sie anbieten, was SAP nicht kann?

Engel: Eine skalierbare und kosteneffiziente cloudnative Datenplattform mit einer Architektur, die einfach nutzbar ist, die Cloud Agnostic ist und sich durch die Isolation von Workloads dank Trennung von Compute und Storage und Computing-Ressourcen auszeichnet. Unsere Kunden können Compute Cluster flexibel anfragen, die im Sub-sekundenbereich zur Verfügung gestellt und im Pay-As-You-Go-Ansatz bezahlt werden – eine wirkliche SaaS-Lösung also.

Brouwer: Unser umfassendes Angebot beinhaltet für SAP-Kunden mit ECC- oder S/4-Systemen eine Reihe überragender Lösungen für die Replikation ihrer SAP-Daten. Mit unserer effizienten Multi-Cloud-Datenreplikation ermöglichen wir ihnen eine nahtlose Replikation über verschiedene Cloud-Plattformen hinweg und bieten die Flexibilität, die am besten geeignete Umgebung zu wählen. Unser vollständig verwalteter Ansatz gewährleistet eine problemlose Replikation, während die lokale Datenverarbeitung die Performance verbessert und Echtzeiteinsichten ermöglicht. Durch die sichere Datenmigration und Replikation in nahezu Echtzeit reduzieren wir die Auswirkungen auf die Quellsysteme auf ein Minimum und Kunden können ihre SAP-Daten kosteneffizient in Snowflake laden.

E-3: Wie ist Ihr Verhältnis zu SAP?

Brouwer: Fivetran ist SAP-Partner und der erste zertifizierte Konnektor wird in Kürze verfügbar sein. 

Engel: Wenn es um die Analyseplattform geht, hat Snowflake oft gemeinsame Kunden mit SAP. Hier entwickeln sich häufig Synergien: SAP ERP ist eine der Datenquellen, während Snowflake Kunden dabei unterstützt, Use Cases zu realisieren, die in der Vergangenheit kaum oder nur mit sehr viel Aufwand umsetzbar waren. Unsere Plattform wird zur Analyse von SAP- und Nicht-SAP-Daten genutzt, teilweise auch erweitert um Daten vom Snowflake Marketplace oder um Streamingdaten von IoT-Geräten. 

E-3: Im weitesten Sinn sind Sie im Bereich Datenmanagement tätig.

Es gibt hervorragende SQL-Datenbanken, wo genau liegt aus Ihrer Sicht die aktuelle Herausforderung beim Managen von Unternehmensdaten?

Engel: Viele Kunden entscheiden sich für Snowflake, um folgende Probleme zu lösen: Erstens liegen ihre Daten in vielen, teils inkonsistenten Kopien vor. Die Folge ist Datenredundanz. Dadurch liefern verschiedene Auswertungen derselben Daten oft unterschiedliche Ergebnisse, was es praktisch unmöglich macht, das Geschäft datenbasiert zu steuern. Zweitens: Daten befinden sich aufgrund von physischer Limitierung oder verschiedener Datenverantwortlichkeiten in ganz unterschiedlichen Datenbanken – also in Datensilos. 

Das bedeutet, dass Daten nicht kombiniert werden können. Ihr Nutzen lässt sich dann nur zu einem kleinen Teil realisieren. Wenn sie sich doch kombinieren lassen, erschweren undurchsichtige Freigabeprozesse und verschiedene Möglichkeiten innerhalb des jeweiligen Systems eine einheitliche Governance, was schnell zu Security-Problemen führt. Und drittens sehen wir, dass vorhandene Lösungen nicht mit dem Unternehmen wachsen – Stichwort Limited Scaling. Oft müssen Systeme für die maximale Auslastung geplant werden, weil sie nicht elastisch sind. Wenn man die übliche Abschreibung über fünf Jahre anlegt, ist es oft viel zu riskant, überhaupt ein Projekt zu beginnen, weil sich Kosten und Nutzen schlecht abschätzen lassen. 

E-3: Fivetran sagt auf der Website von sich: „The Automated Data Movement Platform“, und auch Snowflake bietet die Distribution von Daten an. Müssen Daten denn bewegt werden? 

Brouwer: Ja – und bei ständig wachsenden Datenmengen und -quellen ist die Automatisierung des Data Movement der einzige Weg zum Erfolg. Diese Pipelines manuell zu erstellen führt zu zahlreichen Herausforderungen. Es wird immer noch schwieriger, qualifizierte Data Engineers zu finden, die die Pipelines erstellen können. Zudem müssen diese fortlaufend gewartet und verbessert werden. Das Data Movement wird vor allem dann gebraucht, wenn Daten aus verschiedenen Quellen verknüpft werden müssen. Liegen sie auf einer Plattform, erhält man Antworten viel schneller und effizienter. 

E-3: Es geht also um Datenbewegungen und Transformation?

Brouwer: Wenn wir Data Movement mit Data Distribution vergleichen, sprechen wir über verschiedene Formen der Datenbewegung. Fivetran bewegt hauptsächlich Rohdaten oder Quelldaten. Solche Daten müssen verschoben werden, da sie meist mit anderen Quellen kombiniert werden müssen. Dazu gehört auch die Transformation der Daten. Die Transformation dieser Daten und ihre Anreicherung mit anderen Datenquellen gehen in Snowflake viel effizienter. Wenn wir über Data Distribution sprechen, geht es eher um Datenprodukte. Diese Art von Daten eignet sich besser für Zero-Copy-Daten in Snowflake. 

Engel: Snowflake hat das Ziel, Datensilos aufzubrechen, indem Daten nur noch ein Mal abgespeichert sind und jeder auf sie zugreifen kann. Dies gelingt durch unsere einzigartige Architektur, u. a. durch Separierung von Compute und Storage. Das verschafft uns unbegrenzte Skalierungsmöglichkeiten in Storage und Compute. 

E-3: Wo liegt demnach der Ursprung von Snowflake?

Engel: Snowflake hat seinen Ursprung in der Cloud – einer der fundamentalen Bausteine der Snowflake-Architektur. Indem Snowflake auf AWS, GCP und Azure verfügbar ist und die Accounts miteinander verknüpft sind, entsteht unser sogenanntes Snowgrid, das uns erst ermöglicht, unseren Kunden Zero Copy Data Sharing, Replikation und Failover zur Verfügung zu stellen. Unsere Kunden können dadurch in einen direkten Austausch mit anderen Kunden treten und ihre Daten direkt teilen, nicht nur innerhalb der Unternehmensgrenzen, sondern auch mit anderen Organisationen, Partnern, Dritten und anderen Branchen. Mit diesem Ansatz lösen wir Datensilos auf – geografisch und auch über Cloud-Anbieter hinweg. Die Daten stehen immer live zur Verfügung, es gibt keine unnötigen Kopien. Aber die Daten müssen erst einmal nach Snowflake gebracht werden und dafür ist Fivetran mit seinen vielen Konnektoren die Lösung der Wahl.  

E-3: SAP hat mit dem Data Hub ein Konzept entwickelt, sodass die Daten dort bleiben können, wo sie gespeichert sind, oder? 

Brouwer: Das ist richtig – aber in der Regel liegen die Daten dort weder in dem Format vor, in dem das Unternehmen sie benötigt, noch in der nötigen Frequenz. Um einen Data Hub aufzubauen, ist zudem ein Set-up des SAP-Systems nötig. Hinzu kommt, dass SAP-Daten sehr wertvoll sind. Um diesen Wert auch nutzen zu können, müssen sie mit anderen Datenquellen kombiniert werden. Hierfür ist Snow-flake eine viel bessere Plattform. Denn der Data Hub basiert auf dem Konzept der Datenvisualisierung. Um Daten aus unterschiedlichen Quellen zu kombinieren, müssen immer noch große Datenmengen bewegt werden. Der SAP Data Hub ist also gut, um Daten zu untersuchen, für eine Produktionsumgebung ist er nicht ideal.

E-3: Elevator Pitch: Bei welchen Herausforderungen sollte ein SAP-Bestandskunde sich unbedingt bei Ihnen melden? 

Engel: Wenn er Anforderungen durch die Fachbereiche nicht oder nur schwer umsetzen kann, sei es aufgrund des Preis-Leistungs-Verhältnisses, weil in der Plattform Funktionalität fehlt oder weil die Skalierbarkeit der Architektur an der Stelle nicht ausreicht, um zusätzliche Workloads zu supporten.

Brouwer: Sind SAP-Daten nicht rechtzeitig oder nicht im richtigen Format oder Detaillierungsgrad zeitnah verfügbar, ist der richtige Zeitpunkt, um sich an Snowflake und Fivetran zu wenden. Wir ermöglichen Kunden, nicht nur SAP-Daten, sondern auch wichtige bzw. geschäftskritische Daten aus anderen externen Datenquellen zu extrahieren und in einem zentralen Data Warehouse zu kombinieren. So brechen wir Datensilos auf und ermöglichen datengestützte Entscheidungen.

E-3: Wo und wie ergänzt Ihr Angebot optimal eine ECC- oder S/4-Architektur?

Brouwer: Bei der effizienten, kostengünstigen und schnellen Replikation von Daten aus SAP. Außerdem unterstützen wir kleine und große Use Cases von ECC oder S/4 nach Snowflake. Durch die einzigartigen CDC-Fähigkeiten von Fivetran laufen auch die Transformationen in Snowflake effizient und schnell und liefern Daten in nahezu Echtzeit oder im Batch-Verfahren. Indem sich SAP-Daten mit Daten aus anderen Quellen verknüpfen lassen, können Kunden viel mehr Nutzen aus ihren SAP-Daten ziehen.

Engel: Genau hier setzt Snowflake auf: Wir generieren Insights aus allen Daten aller verknüpften Quellen. So gesehen setzen wir uns auf die ECC-Quellsysteme. 

E-3: Danke für das Gespräch.

fivetran.com

snowflake.com