Partenaires SAP : Qualtrics et Databricks 2.0

La fin d'une démarche unilatérale monolithique

SAP et Databricks s'inscrivent dans un contexte stratégique, et Databricks n'en revient pas : grâce à ce partenariat, Databricks gagne non seulement en visibilité à l'échelle mondiale, mais bénéficie également d'un accès exclusif à la clientèle existante de SAP. Les ventes de Databricks ont pris un véritable élan.

Il en a été de même avec Qualtrics il y a de nombreuses années. Qualtrics est une entreprise américaine de logiciels spécialisée dans la gestion des retours d'expérience en entreprise. De 2018 à 2023, elle a fait partie du groupe allemand SAP. Grâce à l’appréciation de sa valeur au cours de cette période, SAP a pu se retirer de l’acquisition prévue en réalisant un bénéfice financier. Sur le plan technique et organisationnel, la collaboration n’a jamais fonctionné, mais Qualtrics a eu l’intelligence d’utiliser son partenariat avec SAP pour s’ouvrir les portes auprès de nombreux clients existants. Aujourd’hui, c’est Databricks qui se trouve dans cette position avantageuse. Ce pionnier technique de la gestion des données bénéficie d’une visibilité mondiale grâce à SAP. Début novembre, près de 3 000 visiteurs ont assisté à un congrès organisé par Databricks à Munich.

L'annonce d'un partenariat renforcé entre SAP et Databricks, spécialiste de l'intelligence des données, a marqué l'un des changements de cap les plus marquants de l'histoire récente de l'architecture de données ERP de SAP. Pendant des années, le groupe informatique a tenté de mettre en œuvre des scénarios complexes d’intégration de données et de Big Data via des développements internes ambitieux tels que le SAP Data Hub – une tentative qui, dans la pratique opérationnelle des entreprises utilisatrices, a souvent échoué en raison de sa complexité technique, de sa consommation énorme de ressources et de son manque de rentabilité.

Après être passé par l'étape intermédiaire que constituait SAP Data Warehouse Cloud, SAP a finalement abouti à SAP Datasphere et à l'ensemble de solutions global que représente le Business Data Cloud (SAP BDC). D’un point de vue analytique, ce partenariat avec Databricks constitue l’aveu officiel de la direction du groupe SAP : celle-ci a négligé pendant des années les domaines du Big Data, l’ingénierie des données et la gestion des données de référence ont été négligés pendant des années et qu’il n’est plus possible de fournir à lui seul la puissance de calcul hautement innovante des plateformes modernes de « data lakehouse ».

Pour les clients SAP existants, cette alliance représente toutefois un allègement notable par rapport aux systèmes ERP monolithiques aux structures rigides. Au lieu d’enfermer les données critiques pour l’entreprise dans des silos propriétaires, SAP s’ouvre à la plateforme de data intelligence leader du marché développée par Databricks. Alors que SAP continue de revendiquer la souveraineté sémantique sur le contexte métier issu de S/4 Hana, SuccessFactors ou Concur, Databricks apporte le moteur d’analyse évolutif, l’ingénierie des données basée sur Apache Spark ainsi que des environnements avancés pour l’apprentissage automatique (ML) et l’intelligence artificielle. SAP et Databricks redéfinissent ainsi fondamentalement l’interaction entre les logiciels opérationnels transactionnels et le traitement des données par IA tourné vers l’avenir.

L'ouverture et l'évolution vers l'Enterprise Lakehouse

Lors des conférences mondiales destinées aux développeurs, notamment le SAP TechEd à Berlin, SAP a souligné la portée stratégique de son partenariat avec Databricks. Le BDC n’a pas été présenté aux développeurs comme un produit isolé, mais comme un écosystème de données ouvert et multi-cloud (Business Data Fabric), destiné à fédérer sans barrières des environnements de données hétérogènes. Lors de la TechEd, SAP a clairement indiqué que l'intégration directe de Databricks via le principe dit « zero-copy » et le protocole open source « Delta Sharing » mettait fin à la contrainte historique que représentaient la copie et la réplication fastidieuses des données.

Par ailleurs, lors de la conférence de Berlin, SAP a réaffirmé sa volonté de faire évoluer le BDC vers un « Enterprise Lakehouse ». Grâce à des mesures stratégiques telles que l’acquisition du spécialiste des données Dremio, SAP complète sa prise en charge actuelle de Delta Lake par des interfaces natives pour Apache Iceberg et la norme ouverte de catalogue Apache Polaris. Lors de la TechEd à Berlin, il a été promis aux clients existants que les données provenant de sources SAP et non SAP pourraient à l’avenir rester dans des formats ouverts tels qu’Apache Parquet, tandis que des moteurs de requêtes SQL distribués et des modèles d’IA y accéderaient directement, sans passer par des cascades ETL chronophages.

SAP BDC, Knowledge Graph et Databricks

SAP Business Data Cloud est le concept global de solutions et de licences proposé par SAP. Il regroupe les outils SAP Datasphere (pour la modélisation sémantique et le catalogage des données), SAP Analytics Cloud (pour le reporting et la planification intégrée) ainsi que SAP BW dans sa version Private Cloud Edition.

Il existe encore deux variantes opérationnelles : SAP Databricks est un composant SaaS entièrement géré par SAP, directement intégré au BDC, dont la facturation s'effectue via les contrats SAP. À l’opposé, on trouve Enterprise Databricks (également appelé Native Databricks), qui est exploité de manière autonome par les entreprises directement sur les infrastructures d’hyperscalers tels que Microsoft Azure, Amazon Web Services (AWS) ou Google Cloud Platform (GCP). Selon une déclaration de Daniel Holz, ancien directeur général de SAP en Allemagne et désormais vice-président de Databricks pour l’Europe centrale, les fonctionnalités de Native Databricks et du composant Databricks de SAP BDC devraient être identiques à partir du premier trimestre 2027. Aucune déclaration n’a encore pu être faite concernant les ajustements de licence et la distribution. Daniel Holz a fait cette annonce lors de l’événement organisé par Databricks, le « Databricks Data plus AI World Tour », qui s’est tenu début novembre à Munich.

L'interface technique entre BDC et Databricks repose sur le protocole Delta Sharing. Les produits de données issus des systèmes SAP opérationnels sont mis à disposition dans le catalogue BDC et rendus visibles dans le catalogue Unity de Databricks via Delta Sharing, sans qu'aucune copie physique des données ne soit créée. Les spécialistes des données peuvent entraîner des modèles d’IA complexes dans les notebooks Databricks à l’aide de Python, SQL ou R, puis renvoyer de manière transparente les résultats enrichis de ces modèles vers le BDC et SAP Datasphere via Delta Share.

Le SAP Knowledge Graph constitue le « cerveau sémantique » de la plateforme. Il traduit les dizaines de milliers de tables relationnelles et les millions de champs de données de S/4HANA en un modèle de réseau lisible par machine, composé de nœuds et d’arêtes. Alors que Databricks se charge du traitement des mégadonnées non structurées et de l’entraînement des modèles, le Knowledge Graph fournit le cadre métier (Business Context). Les modèles d’IA générative, les agents autonomes et le copilote Joule disposent ainsi d’informations contextuelles précises permettant d’éviter les hallucinations stochastiques dans le grand livre.

La fin de l'entrepôt de données classique au profit d'un « data lakehouse »

La coopération entre SAP et Databricks accélère la disparition progressive des architectures traditionnelles d'entrepôts de données. Les entrepôts de données d'entreprise classiques (tels que l'ancien SAP BW ou les entrepôts de données SQL purement relationnels) se heurtent de plus en plus à des limites de performance insurmontables lorsqu'il s'agit de traiter des volumes de données non structurées, du streaming en temps réel et l'apprentissage automatique sur une seule et même plateforme.

Le « Data Lakehouse », tel que promu par Databricks, allie la capacité de stockage illimitée et économique des lacs de données flexibles aux garanties transactionnelles ACID, à la qualité des données et à la vitesse d'interrogation des entrepôts de données classiques. Dans la future architecture de données SAP, la répartition des tâches va connaître un changement radical.

SAP Datasphere doit abandonner l'idée d'être un référentiel de données monolithique et polyvalent destiné au Big Data. Datasphere fait plutôt office de couche logique et virtuelle (Business Data Fabric) qui préserve la souveraineté sémantique sur les processus métier et les règles d'autorisation.

La valeur ajoutée de Databricks pour les développeurs SAP

Databricks prend ainsi en charge la couche d'exécution à forte intensité de calcul (Compute Layer). Grâce à la séparation stricte entre le stockage et la puissance de calcul dans le Lakehouse, les charges de travail d'ingénierie des données et les processus d'entraînement de l'IA peuvent être extrêmement mis à l'échelle sans surcharger les systèmes ERP opérationnels ni l'instance Datasphere. Pour les clients SAP existants, cela signifie l’abandon définitif du paradigme ETL classique (Extract, Transform, Load) au profit de la fédération et de la virtualisation des données d’entreprise.

Le partage « zero-copy » permet d'éviter les processus ETL fastidieux et sources d'erreurs. Cela permet de gagner du temps de développement, de réduire le risque d'erreurs lors des réplications et de diminuer les coûts de stockage. Les développeurs n’ont plus à se contenter des capacités d’analyse limitées des anciens outils SAP, mais peuvent désormais utiliser des environnements Pro-Code modernes, Apache Spark, MLflow et des notebooks Jupyter standard avec prise en charge multi-utilisateurs native. Les données opérationnelles issues de S/4 peuvent être fusionnées directement dans le Lakehouse avec des données non structurées provenant de capteurs IoT, des informations CRM ou des analyses de marché externes.

Les aspects négatifs et les pièges commerciaux

Le risque lié au BDC, qualifié de „ Business Data Complexity “ : le groupe germanophone des utilisateurs SAP (DSAG) et certaines voix critiques au sein de la communauté qualifient parfois le BDC, sur un ton moqueur, de „ Business Data Complexity “. Cela s’explique par des clauses contractuelles opaques, des modèles d’autorisation complexes et des limites restrictives en matière de transfert de données. Ceux qui se procurent SAP Databricks directement via SAP paient pour l’environnement BDC et les capacités cloud qu’il contient. La facturation s’effectue soit via des « BTP Capacity Units » basées sur la consommation, soit via des modèles de crédit spécifiques, dans lesquels les crédits non utilisés expirent sans compensation à la fin de l’année contractuelle.

Les entreprises telles que Mercedes et BASF, qui exploitent déjà une instance Enterprise Databricks bien établie, par exemple sur Azure, AWS ou GCP, n'ont absolument pas besoin d'acquérir une double licence SAP Databricks. Grâce à l’interface BDC Connect, une instance Enterprise Databricks existante peut être connectée directement à SAP BDC via le Delta Sharing. Cela évite les achats inutiles d’espace de stockage BDC et préserve l’indépendance de l’entreprise vis-à-vis des surcoûts imposés par les éditeurs. L’alliance entre SAP et Databricks constitue une avancée pragmatique et techniquement attendue depuis longtemps, qui abat les barrières entre l’univers transactionnel de SAP et les architectures modernes de « lakehouse » basées sur l’IA. Pour les clients SAP existants, cela se traduit par un écosystème de données extrêmement flexible. Néanmoins, les décideurs informatiques ne devraient pas acheter le BDC aveuglément comme une panacée toute faite, mais concevoir l’architecture de manière à préserver leur souveraineté sur les données et à éviter les mauvaises surprises commerciales liées à une double licence.