Socios de SAP: Qualtrics y Databricks 2.0

El fin de una actuación monolítica en solitario

SAP y Databricks se encuentran en un contexto estratégico y Databricks apenas puede creer su suerte: gracias a esta alianza, Databricks no solo gana visibilidad a nivel mundial, sino que también obtiene acceso exclusivo a la cartera de clientes de SAP. Las ventas de Databricks han recibido un gran impulso.

Algo similar ocurrió con Qualtrics hace muchos años. Qualtrics es una empresa de software estadounidense especializada en la gestión de la retroalimentación empresarial. Entre 2018 y 2023 formó parte del grupo alemán de software SAP. Gracias al aumento de valor registrado durante ese periodo, SAP pudo salir de la adquisición prevista con un beneficio económico. Desde el punto de vista técnico y organizativo, la colaboración nunca funcionó, pero Qualtrics fue lo suficientemente inteligente como para aprovechar la asociación con SAP para abrirse camino entre muchos de sus clientes existentes. Ahora es Databricks quien se encuentra en esta cómoda posición. Este pionero técnico en la gestión de datos está recibiendo atención mundial gracias a SAP. A principios de noviembre, un congreso de Databricks celebrado en Múnich contó con casi 3.000 asistentes.

El anuncio de una colaboración más estrecha entre SAP y Databricks, especialista en inteligencia de datos, supuso uno de los cambios de rumbo más trascendentales en la historia reciente de la arquitectura de datos ERP de SAP. Durante años, el grupo de software intentó dar respuesta a complejos escenarios de integración de datos y big data mediante ambiciosos desarrollos propios, como el SAP Data Hub , un intento que, en la práctica operativa de las empresas usuarias, solía fracasar debido a la complejidad técnica, al enorme consumo de recursos y a la falta de rentabilidad.

Tras pasar por la etapa intermedia de SAP Data Warehouse Cloud, SAP llegó finalmente a SAP Datasphere y al paquete de soluciones superior de Business Data Cloud (SAP BDC). Desde una perspectiva analítica, la alianza con Databricks supone el reconocimiento oficial por parte de la dirección del grupo SAP de que se han descuidado durante años los ámbitos del big data, la ingeniería de datos y la gestión de datos maestros durante años, y de que ya no puede proporcionar por sí sola la potencia de cálculo altamente innovadora de las modernas plataformas de data lakehouse.

Sin embargo, para los clientes actuales de SAP, esta alianza supone un alivio notable frente a los sistemas ERP monolíticos y rígidos. En lugar de encerrar los datos críticos para el negocio en silos propietarios, SAP se abre a la plataforma de inteligencia de datos líder del mercado de Databricks. Mientras que SAP sigue reivindicando la soberanía semántica sobre el contexto empresarial de S/4 Hana, SuccessFactors o Concur, Databricks aporta el motor de análisis escalable, la ingeniería de datos basada en Apache Spark y entornos avanzados para el aprendizaje automático (ML) y la inteligencia artificial. De este modo, SAP y Databricks redefinen de forma radical la interacción entre el software operativo transaccional y el procesamiento de datos de IA orientado al futuro.

La apertura y la evolución hacia el «Enterprise Lakehouse»

En las conferencias mundiales de desarrolladores, en particular en la SAP TechEd de Berlín, SAP destacó la importancia estratégica de su colaboración con Databricks. El BDC no se presentó a los desarrolladores como un producto aislado, sino como un ecosistema de datos abierto y multicloud (Business Data Fabric) destinado a unificar entornos de datos heterogéneos sin barreras. En la TechEd, SAP dejó claro que la integración directa de Databricks a través del denominado principio «zero-copy» y del protocolo de código abierto «Delta Sharing» pone fin a la necesidad histórica de realizar laboriosas tareas de copia y replicación de datos.

Además, en la conferencia celebrada en Berlín, SAP reafirmó su compromiso de convertir el BDC en un «Enterprise Lakehouse». Mediante medidas estratégicas, como la adquisición de la empresa especializada en datos Dremio, SAP amplía la compatibilidad existente con Delta Lake con interfaces nativas para Apache Iceberg y el estándar de catálogo abierto Apache Polaris. En la TechEd de Berlín se prometió a los clientes actuales que, en el futuro, los datos procedentes de fuentes SAP y ajenas a SAP podrán permanecer en formatos abiertos como Apache Parquet, mientras que los motores de consultas SQL distribuidos y los modelos de IA accederán directamente a ellos sin necesidad de largas cascadas de ETL.

SAP BDC, Knowledge Graph y Databricks

SAP Business Data Cloud es el concepto global de soluciones y licencias de SAP. Agrupa las herramientas SAP Datasphere (para el modelado semántico y la catalogación de datos), SAP Analytics Cloud (para la elaboración de informes y la planificación integrada) y SAP BW en su edición Private Cloud.

Actualmente existen dos modalidades operativas: SAP Databricks es un componente SaaS gestionado íntegramente por SAP, integrado directamente en el BDC, cuya facturación se realiza a través de los contratos de SAP. Por otro lado, está Enterprise Databricks (también denominado Native Databricks), que las empresas gestionan de forma autónoma directamente en las infraestructuras de hiperescaladores como Microsoft Azure, Amazon Web Services (AWS) o Google Cloud Platform (GCP). Según declaraciones de Daniel Holz, antiguo director general de SAP en Alemania y actual vicepresidente de Databricks para Europa Central, a partir del primer trimestre de 2027 debería haber paridad funcional entre Native Databricks y el componente de Databricks del SAP BDC. Aún no ha sido posible obtener información sobre ajustes en las licencias ni sobre la distribución. Daniel Holz hizo este anuncio en el evento propio de Databricks, el «Databricks Data plus AI World Tour», celebrado a principios de noviembre en Múnich.

La interfaz técnica entre BDC y Databricks se basa en el protocolo Delta Sharing. Los productos de datos derivados de los sistemas operativos de SAP se publican en el catálogo de BDC y se hacen visibles en el catálogo Unity de Databricks a través de Delta Sharing, sin que se generen copias físicas de los datos. Los especialistas en datos pueden entrenar modelos complejos de IA en los cuadernos de Databricks utilizando Python, SQL o R, y devolver los resultados enriquecidos de los modelos a BDC y SAP Datasphere de forma fluida a través de Delta Share.

El SAP Knowledge Graph constituye el cerebro semántico de la plataforma. Traduce las decenas de miles de tablas relacionales y los millones de campos de datos de S/4HANA a un modelo de red legible por máquina compuesto por nodos y aristas. Mientras que Databricks se encarga del procesamiento de big data no estructurado y del entrenamiento de modelos, el Knowledge Graph proporciona las pautas empresariales (Business Context). De este modo, los modelos de IA generativa, los agentes autónomos y el copiloto Joule obtienen información contextual precisa para evitar alucinaciones estocásticas en el libro mayor.

El fin del almacén de datos clásico en favor de un «data lakehouse»

La colaboración entre SAP y Databricks acelera la desaparición gradual de las arquitecturas tradicionales de almacenes de datos. Los almacenes de datos empresariales clásicos (como el antiguo SAP BW o los almacenes de datos SQL puramente relacionales) se topan cada vez más con límites de rendimiento insuperables cuando hay que procesar volúmenes de datos no estructurados, streaming en tiempo real y aprendizaje automático en una única plataforma.

El «Data Lakehouse», promovido por Databricks, combina la capacidad de almacenamiento ilimitada y económica de los «data lakes» flexibles con las garantías de transacción ACID, la calidad de los datos y la velocidad de consulta de los «data warehouses» clásicos. En la futura arquitectura de datos de SAP, la distribución de tareas cambiará drásticamente.

SAP Datasphere debe abandonar la idea de ser un almacén de datos monolítico y polivalente para el big data. En su lugar, Datasphere actúa como una capa lógica y virtual (Business Data Fabric) que mantiene el control semántico sobre los procesos empresariales y las reglas de autorización.

El valor añadido de Databricks para los desarrolladores de SAP

De este modo, Databricks se hace cargo de la capa de ejecución de alta intensidad computacional (Compute Layer). Gracias a la separación estricta entre el almacenamiento y la potencia de cálculo en el «lakehouse», las cargas de trabajo de ingeniería de datos y los procesos de entrenamiento de IA pueden escalarse de forma extrema sin sobrecargar los sistemas ERP operativos ni la instancia de Datasphere. Para los clientes actuales de SAP, esto supone el adiós definitivo al paradigma clásico ETL (Extract, Transform, Load) para pasar a la federación y la virtualización de los datos empresariales.

Gracias al «zero-copy sharing», se eliminan los procesos ETL, que son laboriosos y propensos a errores. Esto ahorra tiempo de desarrollo, reduce la probabilidad de que se produzcan errores en las replicaciones y disminuye los costes de almacenamiento. Los desarrolladores ya no tienen que conformarse con las limitadas posibilidades de análisis de las herramientas históricas de SAP, sino que pueden utilizar entornos modernos de «pro-code», Apache Spark, MLflow y cuadernos Jupyter estándar con soporte nativo para múltiples usuarios. Los datos operativos de S/4 se pueden fusionar directamente en el «lakehouse» con datos no estructurados de sensores IoT, información de CRM o análisis de mercado externos.

Los aspectos negativos y las trampas comerciales

El riesgo de que BDC se convierta en „Business Data Complexity“: tanto el Grupo de Usuarios de SAP de habla alemana (DSAG) como algunas voces críticas de la comunidad tildan a veces a BDC, en tono burlón, de „Business Data Complexity“. El motivo son las cláusulas contractuales poco transparentes, los complicados modelos de autorizaciones y los límites restrictivos en la transferencia de datos. Quien adquiera SAP Databricks directamente a través de SAP, paga por el entorno BDC y las capacidades en la nube que este incluye. La facturación se realiza mediante unidades de capacidad BTP (BTP Capacity Units) basadas en el consumo o mediante modelos de crédito especiales, en los que los saldos no utilizados caducan sin compensación alguna al final del año contractual.

Las empresas como Mercedes y BASF, que ya cuentan con una instancia de Enterprise Databricks en Azure, AWS o GCP, no tienen por qué adquirir una licencia doble para SAP Databricks. A través de la interfaz BDC Connect, una instancia existente de Enterprise Databricks puede conectarse directamente a SAP BDC mediante Delta Sharing. Esto evita compras innecesarias de espacio de almacenamiento BDC y preserva la independencia de la empresa frente a los recargos de los fabricantes. La alianza entre SAP y Databricks es un paso pragmático y técnicamente muy necesario que derriba las barreras entre el mundo transaccional de SAP y las modernas arquitecturas de «lakehouse» basadas en IA. Para los clientes actuales de SAP, esto supone la creación de un ecosistema de datos altamente flexible. No obstante, los responsables de TI no deberían adquirir el BDC a ciegas como si fuera una panacea, sino diseñar la arquitectura de tal manera que se preserve la soberanía sobre los datos propios y se eviten sorpresas comerciales derivadas de la doble concesión de licencias.