Falta el enlace de datos

Integración de datos: acceso en tiempo real para tomar decisiones en tiempo real

Se requieren decisiones rápidas, para lo cual es necesario acceder a los datos en tiempo real. Hay tres obstáculos principales que se interponen en el camino, y que analizaremos detenidamente en este artículo. El ejemplo de Pitney Bowes, proveedor mundial de soluciones de envío y procesamiento de correo, logística de comercio electrónico y servicios financieros, muestra cómo pueden superarlos las empresas.

El 99% de las empresas se enfrenta a problemas de integración de datos. Para el 65%, el acceso a los datos de ERP por sí solo es difícil. Estas son las conclusiones de una reciente encuesta mundial a profesionales de ERP realizada por Dimensional Research y Fivetran. El impacto de la falta de acceso a los datos es enorme: el 82 por ciento de los profesionales de ERP encuestados afirma que su empresa trabaja con datos obsoletos. El 85 por ciento considera que esto es causa de decisiones erróneas. Los retrasos en el análisis de los datos y, por tanto, también en la toma de decisiones importantes, son mencionados como un problema por alrededor del 70 por ciento. Ni siquiera una cuarta parte de los encuestados tiene acceso en tiempo real a los datos de ERP. ¿A qué se debe este porcentaje tan bajo? Tres obstáculos dificultan a las empresas la integración de los datos de SAP ERP. 

La elevada carga que suponen para las empresas los datos aislados de SAP ERP.

Acceso limitado

Varios factores dificultan el acceso en tiempo real. Los más importantes son: la inmensa cantidad de datos almacenados en los sistemas SAP; la velocidad a la que se generan constantemente nuevos datos; y la variedad de formatos y fuentes de datos.

Pero el acceso no es el único problema. Además, los datos no están disponibles constantemente sino que, por el contrario, son muy volátiles. Además, el acceso por sí solo no basta. Sólo la vinculación de los datos SAP con los de otros sistemas de la empresa y fuentes externas -idealmente en tiempo real- permite a las empresas extraer información de ellos. Esta es otra área en la que muchos fracasan. Porque la velocidad a la que se generan nuevos datos sigue aumentando. Y el aumento del uso de teléfonos inteligentes y redes sociales, así como de procesos empresariales interactivos, crea una complejidad a menudo paralizante. Esto es especialmente cierto cuando se trata de integrar datos ERP con otras funciones operativas como CRM, ventas o fuentes no estructuradas. Pero esta es la única forma de que las empresas obtengan una visión unificada de sus datos, y un enorme potencial para utilizarlos.

Por ejemplo, para obtener información útil a partir de datos OLTP (procesamiento transaccional en línea) mediante OLAP (procesamiento analítico en línea), los datos deben extraerse, convertirse y cargarse en un almacén de datos para su análisis. Hasta ahora, era habitual no sincronizar los sistemas OLTP y OLAP de extremo a extremo. En lugar de ello, los datos se cargaban en los sistemas analíticos diaria o mensualmente mediante pipelines de datos desarrollados internamente y procesos manuales. Esto permite a los usuarios acceder a los datos, pero no están actualizados.

No hay integración sin fisuras

La cuestión enfrenta a las empresas a la tarea de encontrar el equilibrio ideal entre el acceso a los datos SAP a la velocidad y escala necesarias, por un lado, y los costes de instalación, concesión de licencias o desarrollo de las herramientas correspondientes, por otro. Antes, esto apenas suponía un problema porque los datos ERP sólo se exportaban con fines muy específicos. Pero ahora es cada vez más crítico para el negocio hacer que enormes cantidades de datos de la empresa sean utilizables de forma rápida y escalable.

No obstante, para mantener los costes lo más bajos posible, muchas empresas están construyendo sus propios pipelines de datos. Sin embargo, sus especialistas en datos se enfrentan a la tarea casi insuperable de seguir el ritmo de la explosión de volúmenes de datos. Constantemente se añaden nuevas líneas de productos y nuevos conjuntos de datos, por lo que las empresas tienen que adaptar continuamente o incluso reconstruir sus canalizaciones de datos. Esto no sólo dificulta la integración fluida de los datos, sino que también consume mucho tiempo valioso de los científicos e ingenieros de datos.

Un acceso limitado conduce a decisiones imprecisas y malos resultados.

Uso no óptimo

El hecho de que muchas empresas no estén obteniendo todo el valor de sus datos SAP ERP se debe a varias razones: La complejidad, los datos repartidos en diferentes silos y fuentes, por ejemplo, en la nube y en las instalaciones; la falta de profesionales cualificados ralentiza el desarrollo de canalizaciones de datos DIY; y las preocupaciones de seguridad o la falta de conceptos sólidos de seguridad y protección de datos impiden que muchas empresas utilicen sus datos SAP ERP.

¿Cómo pueden las empresas superar estos obstáculos? Sólo con canalizaciones de datos escalables y automatizadas pueden las empresas utilizar sus datos SAP de forma que obtengan el mayor beneficio posible de ellos. Es la única forma de controlar los volúmenes de datos en constante crecimiento, integrar los datos de SAP ERP con sistemas de datos no estructurados y obtener información en tiempo real. La forma más rentable de lograr este objetivo es replicar grandes cantidades de datos mediante la tecnología de captura de datos de cambios (CDC) basada en registros. La replicación de datos consiste en copiar continuamente los datos que residen en un servidor físico o virtual o en una nube a un segundo servidor o instancia en la nube. 

Cuando se trata de datos ERP, dicha solución de replicación de datos debe ser capaz de procesar las inmensas cantidades de datos implicadas. Para el acceso en tiempo (casi) real, también debe ser capaz de detectar cambios en el servidor primario -el sistema SAP- y transmitirlos en tiempo real a un sistema de destino -una plataforma en la nube o un almacén de datos-. 

Existen varios métodos CDC para replicar los cambios entre bases de datos. Para grandes cantidades de datos, se recomienda la tecnología CDC basada en registros. Se considera un método de replicación superior porque puede procesar grandes cantidades de datos rápidamente y con un impacto mínimo en las fuentes de transacciones.

Buenas prácticas

Pitney Bowes ofrece soluciones de envío y gestión de correo, logística de comercio electrónico y servicios financieros a unos 750.000 clientes en todo el mundo. Su equipo de gestión de la información empresarial (EIM) extraía datos de SAP y Oracle cada noche para los informes de ventas. El volumen de integración de datos de SAP a Snowflake había crecido considerablemente, y el proceso ETL por lotes tardaba hasta 31 horas. Además, el creciente número de empresas que solicitaban datos de SAP para cuadros de mando e informes ya no podía gestionarse con los antiguos procesos ETL.

Dado que el sistema existente no era escalable para satisfacer estos requisitos crecientes, Pitney Bowes eligió una herramienta CDC de Fivetran. Además de su gran flexibilidad, velocidad y escalabilidad, la perfecta integración con la base de datos Snowflake también influyó en la elección. Pitney Bowes también tuvo dificultades para encontrar una solución compatible con SAP. Fivetran se impuso con un conjunto de funciones que permite a Pitney Bowes replicar fácilmente desde SAP.

En la actualidad, Pitney Bowes sincroniza, valida y replica datos de Oracle y SAP en el almacén de datos basado en la nube cuatro veces al día. Esto proporciona a los usuarios acceso a datos de arrendamiento actualizados de SAP y Oracle como "única fuente de verdad" en una base de datos empresarial sin ningún impacto en las aplicaciones de origen. La mayor parte de la gestión de la replicación se realiza a través de la interfaz. Esto significa que se elimina la supervisión manual necesaria para el procesamiento por lotes.

Pitney Bowes ha observado tiempos de procesamiento significativamente más rápidos para sus sistemas Oracle y SAP. Los trabajos ETL que antes tardaban días ahora se completan en menos de una hora. Esto permite al equipo de EIM satisfacer las crecientes demandas de datos de arrendamiento de Oracle y SAP. Además, se ha minimizado la "huella técnica" del proceso de recopilación de datos, lo que significa que se han podido suprimir licencias de software redundantes y reducir el hardware y el almacenamiento de datos.