Data Mesh y SAP Datasphere: Nuevo valor añadido de los datos para todos los departamentos

El desarrollo del almacenamiento y análisis de datos empresariales abarca desde los primeros almacenes de datos en los años 80 hasta los conceptos de lagos de datos, hubs y lakehouses. Al principio, las empresas podían leer el pasado a partir de las cifras y sacar conclusiones gracias a datos limpios, informes y análisis rápidos. Desde la década de 2010, el rendimiento de los ordenadores y las aplicaciones ha alcanzado un nivel en el que también son posibles las predicciones (análisis predictivo) y las recomendaciones para la acción (análisis prescriptivo).

Muchas oportunidades, muchos obstáculos

Los datos y su análisis se consideran el combustible para la transformación digital y el cambio hacia una empresa inteligente. Pero los obstáculos son numerosos:

• Los silos de datos dificultan la búsqueda y el acceso a los datos pertinentes.
• Las arquitecturas físicas centralizadas limitan el uso de los datos y crean cuellos de botella para la potencia de cálculo necesaria.
• La integración tradicional de datos requiere mucho trabajo, es compleja y retrasa el acceso a nuevas e importantes fuentes de datos.
• Los equipos de datos suelen estar sobrecargados de trabajo básico y tienen que atender al mismo tiempo las peticiones del día a día de la empresa.

Estos obstáculos pueden superarse desde el punto de vista técnico. Sin embargo, el primer requisito previo es una cultura de datos dentro de la organización que promueva el uso eficaz y ético de los datos para la toma de decisiones y la innovación. Sin una cultura de datos positiva, las organizaciones no podrán convertirse en empresas impulsadas por los datos.

Una cultura de datos positiva suele empezar por un replanteamiento de los principios organizativos. Por ejemplo, actualmente sólo unas pocas empresas ofrecen a todos los empleados la posibilidad de crear sus propios análisis de datos (a través del autoservicio). Sin embargo, es precisamente la iniciativa y la creatividad de los departamentos especializados la clave para crear nuevo valor a partir de los datos. En general, una organización debe ser consciente de las actitudes, prácticas y valores que promueven el tratamiento eficaz y responsable de los datos: transparencia, confianza, alfabetización informática, ética y colaboración.

Malla de datos: análisis de datos independientes y descentralizados

Muchas organizaciones han invertido en el pasado en un lago de datos central y en un equipo de datos, esperando impulsar su negocio basándose en los datos. Sin embargo, tras un cierto éxito inicial, se dan cuenta de que el equipo central de datos a menudo se convierte en un cuello de botella: El equipo no puede responder con suficiente rapidez a todas las preguntas analíticas de la dirección, los propietarios de productos y los departamentos especializados. Sin embargo, las decisiones oportunas basadas en datos son cruciales para la competitividad. Las preguntas típicas son

• ¿Se puede conseguir un precio más alto con un plazo de entrega más corto? ¿Aceptarán los clientes plazos de entrega más largos pero más fiables?
• ¿Debemos limitar o ampliar nuestra cartera en determinados mercados?

El equipo de datos quiere responder rápidamente a todas estas preguntas. En la práctica, sin embargo, tiene dificultades porque dedica demasiado tiempo a adaptar las canalizaciones de datos y, si es necesario, a realizar cambios operativos en la base de datos. En el poco tiempo que le queda, el equipo de datos tiene que identificar y comprender los datos de dominio necesarios.

Aunque los departamentos conocen sus ámbitos y los requisitos de información pertinentes, tienen que recurrir al sobrecargado equipo central de datos para obtener información basada en datos.

Una salida es transferir la responsabilidad de los datos del equipo de datos central a los equipos de dominio. Esta es la idea central del concepto de malla de datos: descentralización orientada al dominio para los datos analíticos. Una arquitectura de malla de datos permite a los departamentos especializados y a los equipos de dominio realizar por sí mismos análisis de datos entre dominios y conectar los datos entre sí, de forma similar a las API en una arquitectura de microservicios.

Los cuatro principios básicos de la malla de datos

El principio de propiedad de dominio exige que los equipos de dominio asuman la responsabilidad de sus datos. Según este principio, los datos analíticos deben construirse en torno a dominios, similares a los límites de los equipos, que se adaptan al contexto limitado del sistema. En la arquitectura distribuida orientada a dominios, la responsabilidad de los datos analíticos y operativos se transfiere de un equipo de datos central a los equipos de dominio.

El principio de los datos como producto proyecta el pensamiento de producto sobre los datos analíticos. Este principio significa que hay consumidores para los datos fuera del dominio. El equipo del dominio es responsable de satisfacer las necesidades de otros dominios proporcionando datos de alta calidad. Básicamente, los datos del dominio deben tratarse como cualquier otra API pública.

La idea que subyace a la Plataforma de Datos de Autoservicio es trasladar el concepto de plataforma a la infraestructura de datos. Un equipo dedicado a la plataforma de datos proporciona funciones, herramientas y sistemas independientes del dominio para crear, ejecutar y mantener productos de datos interoperables para todos los dominios. Una plataforma de datos moderna permite a los equipos de dominio utilizar y crear productos de datos sin problemas.

La gobernanza federada permite la interoperabilidad de todos los productos de datos mediante la normalización. El objetivo es crear un ecosistema de datos que cumpla las normas de la organización y la normativa del sector.

¿Por qué Data Mesh con SAP Datasphere?

Además de los criterios organizativos mencionados, la creación de valor a partir de nuevos datos requiere una base tecnológica, como el potente e intuitivo sistema de gestión de datos SAP Datasphere.

Esto permite un acceso escalable y sin fisuras a los datos críticos para el negocio mediante la creación de una capa de datos armonizada para todas las fuentes de datos SAP y no SAP, ya sean en la nube, on-prem o híbridas. Funcionalmente, la solución combina integración de datos, catalogación de datos, modelado semántico, almacenamiento de datos, federación de datos y virtualización de datos.

Puede basarse en lagos de datos, aplicaciones, servicios web y otras fuentes de datos. Se crea un único punto de verdad mediante la combinación y la consolidación. En segundo plano, la solución combina tecnologías en memoria con una serie de potentes motores de datos. Los usuarios de los equipos de las divisiones pueden modelar y ampliar sus datos mediante herramientas gráficas intuitivas. Esto les permite crear perspectivas valiosas para su empresa.

SAP Datasphere mantiene un equilibrio entre las necesidades de datos de los usuarios y los requisitos de gobernanza de la empresa. Como la solución es nativa en la nube, crece con las necesidades y también es adecuada para empresas con menos de 1000 empleados.

A la entrada de socios: