Intégration de Confluent dans SAP : entretien avec Greg Murphy de Confluent

Greg Murphy est Staff Product Marketing Manager et se concentre sur le développement et la promotion du programme de partenariat technologique de Confluent. Il aide les clients à mieux comprendre comment la plateforme de streaming de données de Confluent s'intègre dans l'écosystème plus large des partenaires. Avant de rejoindre Confluent, Greg Murphy a travaillé dans le marketing produit et la gestion de produits chez Salesforce et Google Cloud.

Greg Murphy, Responsable marketing produit, Confluent

E3 : Pouvez-vous nous en dire plus sur l'intégration de Confluent dans SAP ?

Dans notre offre SAP, nous nous concentrons sur la possibilité pour les clients SAP et BTP de déplacer leurs données ERP partout. Ainsi, lorsque les clients SAP envisagent de construire des expériences client en temps réel, des analyses avancées et le type de solutions dont leur entreprise a besoin, cela ne signifie pas toujours que ces données peuvent rester dans SAP ; elles doivent être transférées en aval dans des outils et des applications tiers pour leur donner vie.

Donc, si nous y réfléchissons en premier lieu, vous avez ajouté les options disponibles pour les clients SAP. Le plus souvent, ces clients utilisent aujourd'hui la technologie open source Apache Kafka, une technologie de streaming de données qui permet aux clients de capturer ces activités en fonction des événements et de les diffuser en aval, où qu'elles se trouvent. Confluent a été développé par les inventeurs d'Apache Kafka. Nous avons développé une plateforme de streaming de données cloudnative et entièrement gérée, dont Kafka est l'épicentre. Elle permet aux entreprises d'éliminer complètement l'overhead opérationnel, les coûts et les défis liés à la gestion de la technologie open source. Les clients sont en mesure de profiter des avantages du streaming de données, ce qui leur permet de devenir une entreprise intelligente en temps réel, capable de travailler avec ces données ERP partout où elles sont nécessaires.

E3 : Que fait exactement une plateforme de streaming de données ?

Apache Kafka est une technologie open source qui a été créée en 2011 chez LinkedIn. Elle a été lancée par les fondateurs de Confluent parce qu'il y avait alors un besoin de mouvements de données en temps réel au sein de LinkedIn avec la technologie qui n'existait pas encore. Donc, si l'on pense aux activités basées sur des événements - chaque fois que quelqu'un lit ou répond à un message sur LinkedIn, c'est-à-dire tout type d'activité - il y avait un certain nombre de systèmes qui voulaient connaître et comprendre ces activités afin de pouvoir construire des processus à partir de là. C'est précisément pour cela que Kafka a été créé à l'origine.

Le cas d'utilisation initial le plus important est un modèle PubSub, dans lequel les producteurs sont en mesure d'envoyer des messages à la plateforme de diffusion de données, et tous les consommateurs en aval qui souhaitent travailler avec ces données dans une approche "un pour un" peuvent les récupérer et travailler élégamment avec ces données. Au lieu d'une solution point à point, dans laquelle chaque application ou outil en amont doit maintenir une intégration directe avec tous les services en aval qui ont besoin de ces données, il s'agit d'un modèle beaucoup plus élégant qui permet à tous ces producteurs de produire une fois dans la technologie de diffusion de données en continu, puis aux consommateurs de s'abonner ou de lire autant de ces flux qu'ils le souhaitent. Il offre à une entreprise une manière très élégante de transmettre toutes les données dans l'ensemble de l'entreprise et de créer un système nerveux central en temps réel. C'est Apache Kafka. Au cœur, c'est un système distribué.

E3 : En quoi la Confluent Data Platform se distingue-t-elle ?

Bien qu'Apache Kafka soit une technologie très puissante et largement utilisée pour le streaming et le mouvement en temps réel des données dans toute l'entreprise, il est très difficile pour la plupart des entreprises de l'exploiter, de la faire évoluer et de l'utiliser avec un réel succès. Il faudra plusieurs années avant que la plupart des entreprises puissent tirer un réel bénéfice de cette technologie, compte tenu des ressources d'infrastructure, du personnel à plein temps qui sera chargé de maintenir les opérations, ainsi que des risques et des défis qui pourraient être associés.

Kafka est très puissant, mais il s'agit d'une technologie lourde, fastidieuse et vaste, qui apporte certes une valeur ajoutée, mais qui détourne les équipes de leur activité principale. Un détaillant, par exemple, qui dépend d'Apache Kafka, n'est pas vraiment félicité par ses clients en aval pour la qualité de sa gestion de Kafka. Le détaillant veut se concentrer sur de nouveaux cas d'utilisation qui ont un impact sur le client et qui utilisent les données en temps réel auxquelles il a accès. L'objectif de Confluent est de s'appuyer sur cette technologie open source pour offrir à ses clients, dans des secteurs très variés, toute la valeur d'une plateforme de streaming de données, tout en supprimant les contraintes, les défis et les coûts de gestion de cette technologie open source, car ce n'est pas là que réside la valeur pour nos clients, ni ce qu'ils veulent mettre sur le marché. C'est ce que nous faisons. Et c'est là que réside notre compétence.

E3 : Pouvez-vous expliquer cela plus en détail ?

Il y a trois piliers qui distinguent vraiment la Confluent Data Streaming Platform de cette technologie open source. Le premier, c'est que Confluent est cloudnativ. Nous avons pris Apache Kafka, la technologie open source, et nous l'avons complètement transformée pour le cloud. C'est un gros investissement d'amener cette technologie dans le cloud et de permettre aux clients de mettre en place en quelques clics un cluster qui peut faire fonctionner toute l'entreprise.

Toutes ces fonctions sont regroupées dans ce que l'on appelle le moteur Kora. Le moteur Kora est le moteur Apache Kafka, spécialement développé pour le cloud. Il est élastiquement modulable. Ainsi, certains clusters peuvent atteindre jusqu'à 20 gigaoctets par seconde. Ils disposent d'un espace de stockage infini.

E3 : Pouvez-vous donner un exemple de ces fonctions et de leur impact sur les clients ?

Ce que nous avons au sein du moteur Kora, c'est une évolutivité élastique pouvant atteindre 20 gigaoctets par seconde. Les plus grandes entreprises du monde peuvent accéder à Kafka en un seul clic et faire évoluer la disponibilité de Kafka vers le haut et vers le bas, alors que dans le passé, les entreprises qui utilisaient l'open source n'avaient que deux possibilités. Soit elles devaient équiper Kafka d'une infrastructure coûteuse afin d'être prêtes pour des performances de pointe pendant la saison des vacances ou à des moments particuliers de l'entreprise, l'infrastructure étant toujours disponible à un niveau élevé pour ces moments, mais cela impliquait des coûts élevés. Ou alors, ils devraient avoir une grande équipe dédiée à des projets pour se préparer à ces moments et ajouter de l'infrastructure, puis réagir à ces moments en retirant toute l'infrastructure pour éviter ces coûts.

Quelle que soit la manière dont on la dépense, c'est une activité très perturbatrice et coûteuse à laquelle les entreprises doivent se préparer. Au sein du Confluent Cloud, le scaling élastique signifie que nous augmentons automatiquement avec l'activité pour nous assurer que les clients ont le débit et la capacité dont ils ont besoin pour gérer tout le trafic qui passe par la plateforme. Et nous évoluons ensuite automatiquement vers le bas lorsque le trafic de données diminue, afin de nous assurer que nous travaillons de manière rentable et que personne ne doit payer trop cher.

E3 : Qu'en est-il de la sauvegarde dans le moteur Kora ?

Au sein du moteur Kora, l'espace de stockage est infini. Ce ne sont pas seulement des données en temps réel qui circulent sur la plateforme et auxquelles les clients ont accès. Ils peuvent stocker des données, et une quantité infinie chez nous. Nous offrons un SLA (Service Level Agreement) de temps de fonctionnement de 99,99 pour cent. Nous donnons donc des garanties élevées quant à la disponibilité de la plate-forme. Nous garantissons également des temps de latence faibles et un débit de données élevé sur la plate-forme. Tout compte fait, avec ce pilier cloud, nous avons donc pris en charge toute la charge opérationnelle, les coûts et la distraction d'Apache Kafka, et nous avons reconstruit l'ensemble du service dans une expérience cloud, comme l'attendrait un client.

E3 : Quel est le deuxième pilier qui caractérise la Confluent Data Streaming Platform ?

Le deuxième pilier, c'est que Confluent est complet. Nos clients n'ont pas seulement besoin d'Apache Kafka pour créer des expériences en temps réel. Ce dont ils ont besoin, c'est d'une plate-forme complète de streaming de données, qui leur permette de la construire autour d'Apache Kafka et de travailler vraiment efficacement. Cela inclut les intégrations de données, comme SAP par exemple, que nous proposons. Nous avons plus de 120 intégrations source et sync pré-construites dans la plateforme. La technologie de streaming de données permet d'aller chercher des données partout où elles sont produites et de les envoyer là où elles doivent être consommées. Nos clients nous ont dit qu'il fallait jusqu'à six mois pour développer chacune de ces intégrations, plus un support et une gestion à vie pour les maintenir en état de marche. Il y en a à nouveau plus de 120 pour cette intégration préfabriquée, ce qui permet aux clients d'économiser ce temps, d'accéder automatiquement à toutes les données dont ils ont besoin et d'envoyer les données partout où elles sont nécessaires.

Comme SAP est une offre de base, elle est directement intégrée dans la console SAP. Il ne s'agit pas seulement d'accéder simplement aux données SAP et de les transmettre à l'un des sites que nous proposons. Il y a aussi des données de grande valeur qui se trouvent en dehors du système SAP. Pensez aux données IoT, aux données des outils de marketing, aux flux de clics en temps réel sur Internet - il y a une multitude de sources de données qui pourraient être nécessaires. Nous permettons aux clients SAP d'accéder à leurs données SAP et de les fusionner en temps réel avec toutes ces différentes sources de données, afin qu'ils puissent les transmettre en temps réel sous forme de produit de données complet aux bases de données, aux entrepôts de données, aux lacs de données et aux outils d'IA-ML.

Il s'agit de la seule suite de gouvernance entièrement gérée du secteur pour Apache Kafka, qui sécurise et garantit des données de haute qualité, mais les rend également accessibles au reste de l'entreprise. Elle garantit ainsi qu'un plus grand nombre de personnes au sein de l'entreprise ont accès aux données en temps réel afin d'organiser efficacement les expériences attendues aujourd'hui.

E3 : Quel est le troisième pilier qui caractérise la Confluent Data Streaming Platform ?

Enfin, c'est une offre qui est disponible partout. Que ce soit dans le cloud - nous sommes disponibles sur AWS, Azure GCP, à travers les clouds -, la capacité de connecter tous ces environnements et d'envoyer des données entre eux, ou sur site avec la plateforme Confluent et là aussi la connectivité. Donc entre un environnement on-premise, un environnement cloud et un environnement hybride, donc vraiment un système nerveux central. Les données en temps réel pour l'ensemble de l'entreprise, c'est ce qui peut être construit au final.

E3 : Comment les deux plates-formes s'intègrent-elles spécifiquement avec SAP BTP, la Business Technology Platform ?

En décembre, nous avons fait une annonce externe sur la disponibilité de Confluent dans le SAP Store. Dans le cadre de cette annonce, nous avons présenté notre intégration directe entre SAP Datasphere, BTP et Confluent Cloud.

Les clients SAP ont ainsi la possibilité d'accéder directement depuis SAP Datasphere à la plateforme de streaming de données Confluent et à des flux de données entièrement gérés. Ainsi, lorsque je travaille avec BTP, j'ai accès à S/4 Hana ECC et à d'autres outils du côté de SAP. En tant qu'utilisateur, j'ai la possibilité de configurer l'écriture de ces données en temps réel dans des flux de données entièrement gérés du côté du Confluent. Cela permet de sortir les données ERP de SAP et de les utiliser en aval pour alimenter les applications et les analyses en données en temps réel.

E3 : Dans quels cas ces plates-formes ne seraient-elles pas applicables ou idéales pour trouver des solutions à un environnement informatique ?

Je pense que les cas d'application sont très larges. Ils sont très ouverts. Chez Confluent, nous disons que les clients avec lesquels nous travaillons ont vraiment ouvert un nombre presque illimité de cas d'utilisation. Nous savons que les solutions que les clients veulent mettre en place ne dépendent pas toujours exclusivement des données de SAP, et que ces données seules ne sont pas toujours déterminantes pour un cas d'utilisation. Il est donc essentiel pour les clients SAP d'avoir accès à des données au-delà de BTP et des systèmes SAP. Et c'est quelque chose que nous rendons facilement accessible sur la plate-forme. Il n'y a pas que les connecteurs préfabriqués dans la plateforme qui vous permettent de déplacer facilement des données vers le bas. Vous pouvez également inclure des données supplémentaires, les fusionner avec les données SAP et construire quelque chose de plus complet et prêt à être utilisé en aval.

E3 : Quel est l'un des avantages de la Confluent Data Streaming Platform ?

Pour l'offre cloudnative, il a été démontré que notre offre peut réduire le coût total de possession d'Apache Kafka pour les entreprises jusqu'à 60%. Donc, quand on parle de la valeur du streaming de données - et il y a une forte demande des clients SAP -, ils veulent travailler avec Apache Kafka ; ils veulent l'utiliser pour leur expérience client en temps réel. Confluent est en mesure d'offrir une meilleure solution pour Kafka, ainsi qu'une plate-forme complète de streaming de données qui réduira le coût total de possession de Kafka de 60%. Cela permet à nos clients de gagner du temps et de se concentrer non pas sur la gestion de l'infrastructure, mais sur ce qui va réellement faire avancer leur entreprise. Et ce qui surprendra et enthousiasmera leurs clients, qu'ils soient internes ou externes.

E3 : Quelles options donneriez-vous aux clients qui cherchent à s'intégrer avec S/4 Hana dans le cloud et avec BTP ?

Le meilleur moyen d'y parvenir est l'intégration Datasphere que nous avons développée. Celle-ci est donc directement reliée à l'outil Datasphere au sein de BTP. Elle récupère les données de S/4 Hana ECC, BW, il y a une liste d'au moins cinq, six ou sept sources différentes du côté de SAP, mais S/4 Hana est en tête de liste. C'est vraiment le produit phare du côté de SAP. C'est donc de loin la recommandation de notre côté pour la manière la plus simple de libérer ces données ERP, de les amener sur la plateforme de streaming de données et de les déplacer en aval, là où elles sont nécessaires. Gestion des stocks du commerce électronique en temps réel, fabrication, cas d'application IoT, IA, ML - ce sera la recommandation de notre part.

E3 : Qu'est-ce que cela signifie spécifiquement pour les clients ERP ?

Nous pensons qu'il est important pour le marché de comprendre l'offre de Confluent, car il s'agit avant tout d'une activité intelligente en temps réel, qui alimente les applications en aval avec des données ERP en temps réel. Les trois piliers sur lesquels nous nous concentrons spécifiquement pour SAP sont : premièrement, la création d'applications en temps réel à moindre coût. Cela se fait grâce au moteur Kora et à la réduction du coût total de possession pour Kafka jusqu'à 60%.

Le deuxième pilier est le streaming des données SAP vers tout endroit où elles sont nécessaires et leur fusion avec d'autres sources. Cela se fait grâce aux 120 connecteurs et au traitement des flux avec Apache Flink (un framework de traitement par lots open source).

Le dernier pilier consiste à permettre aux clients de conserver des normes de sécurité strictes tout en passant de BTP à Confluent Cloud. Nous disposons d'un certain nombre de fonctions de sécurité de qualité entreprise qui sont standard sur la plate-forme. Par exemple, le cryptage des données au repos et en transit. Nous avons une série de fonctions de personnalisation différentes, des réseaux privés, des protocoles d'audit, toute une série de fonctions de sécurité qui sont disponibles sur la plate-forme. Elles disposent d'un ensemble standard de normes de conformité.

E3 : Pouvez-vous nous en dire un peu plus sur les fonctions de gouvernance de la plate-forme ?

Nous proposons la seule suite de gouvernance entièrement gérée du secteur pour Apache Kafka. Elle se compose de plusieurs piliers : la qualité des flux, le catalogue des flux et la gestion des flux. La qualité des flux est probablement ce à quoi on pense le plus souvent quand on pense à la gouvernance des flux, et il s'agit de l'intégrité des données, des règles relatives aux données, des contrats qui garantissent que des normes sont en place pour toutes les données qui transitent par la plateforme. Cela permet également de garantir que les données peuvent être facilement réutilisées par la suite. C'est standard.

Nous avons également un catalogue de flux et tant le catalogue de flux que la ligne de flux sont l'autre facette de la gouvernance - une vision plus moderne de la gouvernance. Ils font partie de la même suite, mais ils ne se concentrent pas sur le verrouillage des données, mais sur l'ouverture de ces données au catalogue de flux de l'entreprise.

Notre portail de données permet aux clients de la plateforme de streaming de données de comprendre, par exemple, quels sont les flux de données à haute valeur ajoutée qui proviennent de SAP. Donc, si nous facilitons incroyablement la création de ces flux de données pour les clients SAP et leur acheminement vers Confluent, le catalogue de données sur notre site et plus particulièrement le portail de données fait que les clients au sein du Confluent Cloud - c'est-à-dire ceux qui utilisent notre plateforme au quotidien - peuvent voir ces flux de données et en être conscients. Ils savent quelles données sont disponibles et peuvent créer les outils qu'ils souhaitent.

E3 : Pouvez-vous donner un exemple ?

Prenons un exemple : Nous avons un utilisateur BTP et un utilisateur Confluent-Cloud. L'utilisateur Confluent-Cloud pourrait trouver, via le catalogue dont dispose l'utilisateur BTP, un flux de données contenant les données IoT de la production qu'il souhaite et dont il a besoin. C'est donc génial. Vous avez trouvé quelque chose qui fait avancer le projet. La question suivante pourrait toutefois être la suivante : D'où proviennent réellement ces données ? Que leur est-il arrivé en cours de route ? Ont-elles été fusionnées avec de nombreuses autres données ? Comment puis-je être sûr de pouvoir utiliser ces données dans mon projet ?

Stream-Lineage est le troisième volet de la suite de gouvernance qui offre aux clients une vue de bout en bout de ces flux de données sous la forme de "Google Maps", afin qu'ils comprennent d'où ils viennent, où ils vont et ce qui leur arrive en cours de route. Ils peuvent le faire via le catalogue. Et s'ils les trouvent avec l'ascendance, ils peuvent facilement comprendre ce que sont toutes ces données et comment ils peuvent les utiliser. C'est donc le troisième point que je voulais ajouter : le maintien de normes strictes de sécurité, de gouvernance et de conformité qui peuvent être maintenues pour les clients SAP lorsqu'ils transfèrent toutes ces données sur la plateforme de streaming de données Confluent.

E3 : Merci pour l'interview !

confluent.io