{"id":141472,"date":"2024-04-03T11:08:04","date_gmt":"2024-04-03T09:08:04","guid":{"rendered":"http:\/\/e3mag.com\/?p=141472"},"modified":"2026-02-20T08:43:39","modified_gmt":"2026-02-20T07:43:39","slug":"fin-del-caos-de-datos","status":"publish","type":"post","link":"https:\/\/e3mag.com\/es\/fin-del-caos-de-datos\/","title":{"rendered":"Fin del caos de datos"},"content":{"rendered":"

El problema<\/strong><\/h2>\n\n\n\n

Jay Kreps es el fundador y CEO de Confluent y uno de los autores originales del proyecto de c\u00f3digo abierto Apache Kafka. Trata de resolver un problema familiar para muchos: los datos no est\u00e1n actualizados, las conexiones son fr\u00e1giles y es una lucha constante utilizar los datos en todo su potencial porque no existe una estructura unificada para organizar los datos entre las distintas partes de una organizaci\u00f3n. Se crea un sistema desde el principio y luego se a\u00f1aden nuevas conexiones, nuevos cables, lo que da lugar a una mezcolanza de desorden.<\/p>\n\n\n\n

Muchas ofertas actuales solo proporcionan soluciones para la parte anal\u00edtica de los datos, pero no para la parte operativa, y viceversa. Sin embargo, las organizaciones necesitan poder acceder a todos sus datos en su totalidad, especialmente si est\u00e1n planeando implantar la IA en su negocio. Cualquier IA que desarrollen solo puede ser tan buena como los datos utilizados para entrenarla.<\/p>\n\n\n\n

Responsabilidades, tecnolog\u00edas y procesos<\/strong><\/h2>\n\n\n\n

Otros han intentado atajar el caos salvando las distancias entre el \u00e1rea operativa, donde se ejecutan las aplicaciones para gestionar la empresa, y el \u00e1rea anal\u00edtica, donde se analizan los datos y se eval\u00faan los aspectos financieros, utilizando otros medios como las tecnolog\u00edas de lago de datos. Sin embargo, el fundador y CEO de Kafka Apache, Jay Kreps, es bastante ambicioso y est\u00e1 tratando de resolver el problema de la saturaci\u00f3n de los sistemas e infraestructuras de datos. Kreps ha propuesto un producto de datos universal como soluci\u00f3n, utilizando el flujo de datos como medio para permitir a las empresas acceder a los datos y filtrarlos en tiempo real, lo que, seg\u00fan la definici\u00f3n de Jay Kreps, significa simplemente muy r\u00e1pido, tanto desde el punto de vista operativo como anal\u00edtico, siendo la baja latencia la norma.<\/p>\n\n\n\n

Seg\u00fan Confluent, un producto de datos es un conjunto fiable de datos dise\u00f1ado espec\u00edficamente para ser compartido y reutilizado con otros equipos y servicios. Es una formalizaci\u00f3n de responsabilidades, tecnolog\u00edas y procesos que permite a los usuarios acceder f\u00e1cilmente a los datos que necesitan.<\/p>\n\n\n\n

El producto de datos de Confluent es una soluci\u00f3n integral de tres partes para el streaming de datos -un triple ataque al caos de los datos- que consta de Confluent Data Streaming Platform, que proporciona la funcionalidad b\u00e1sica de streaming, Apache Flink, que permite el procesamiento en tiempo real, e Iceberg, que permite visualizar y compartir los resultados en formatos tabulares. Las arquitecturas para aplicaciones de IA que abarcan tanto el mundo operativo como el anal\u00edtico requieren procesamiento por lotes, y el streaming es una generalizaci\u00f3n del procesamiento por lotes, un superconjunto del mismo.<\/p>\n\n\n\n

Plataforma de flujo de datos<\/strong><\/h2>\n\n\n\n

Confluent Data Streaming Platform es una oferta nativa en la nube y sin servidor que integra Kora, el nuevo motor Kafka para la nube con memoria infinita, que se afirma que es diecis\u00e9is veces m\u00e1s r\u00e1pido que el Apache Kafka original. Apache Kafka es un sistema distribuido, un modelo PubSub, en el que los productores pueden enviar mensajes -datos en tiempo real- a la plataforma de flujo de datos, y cualquier consumidor posterior que desee trabajar con esos datos de uno a muchos puede acceder a ellos y trabajar con ellos directamente. La plataforma Confluent se basa en Apache Kafka y facilita las capacidades de flujo de datos reduciendo la necesidad de que las organizaciones gestionen el sistema original. Proporciona accesibilidad adicional a Apache Kafka al eliminar la sobrecarga, el coste y otros retos de la gesti\u00f3n del software de c\u00f3digo abierto.<\/p>\n\n\n\n

Integraci\u00f3n SAP<\/strong><\/h2>\n\n\n\n

La integraci\u00f3n con SAP es una parte importante del desarrollo de Confluent. Dado que SAP es una de las principales ofertas de Confluent, la integraci\u00f3n est\u00e1 integrada directamente en la consola SAP. Confluent permite a los clientes de SAP acceder a sus datos de SAP y fusionarlos en tiempo real con todas las fuentes de datos diferentes, como datos de IoT, datos de herramientas de marketing, flujos de clics en tiempo real de Internet y otras fuentes, para que puedan reenviarlos en tiempo real como un producto de datos completo a bases de datos, almacenes de datos, lagos de datos y herramientas de IA ML. <\/p>\n\n\n\n

Los clientes de SAP podr\u00e1n acceder a la plataforma de flujo de datos de Confluent y a los flujos de datos totalmente gestionados directamente desde SAP Datasphere. Esto significa que cuando los usuarios trabajan con Datasphere en la BTP (Business Technology Platform), tambi\u00e9n tienen la opci\u00f3n de configurar una escritura en tiempo real de estos datos en flujos de datos totalmente gestionados en el lado de Confluent. Esto permite a los usuarios liberar datos ERP de SAP y mover estos datos aguas abajo para alimentar aplicaciones y an\u00e1lisis con datos en tiempo real.<\/p>\n\n\n\n

Flink<\/strong><\/h2>\n\n\n\n

El segundo pilar del ataque en tres partes despu\u00e9s de la plataforma de flujo de datos Confluent es Apache Flink. Flink es un servicio de procesamiento de flujos de c\u00f3digo abierto que funciona como un sistema de procesamiento por lotes. Confluent afirma que Flink, al igual que el motor de b\u00fasqueda Kora, es diecis\u00e9is veces m\u00e1s r\u00e1pido que Apache Kafka, lo que lo convierte en un complemento a tener en cuenta si la velocidad es una prioridad. El producto permite a los usuarios procesar datos sin una sola l\u00ednea de c\u00f3digo, lo que facilita su gesti\u00f3n al personal con menos conocimientos especializados, aunque existen opciones de codificaci\u00f3n para los interesados. Flink tambi\u00e9n permite procesar flujos de datos continuos con baja latencia y alto rendimiento, con capacidades adicionales como sem\u00e1ntica de procesamiento especializada y compatibilidad con m\u00faltiples API.<\/p>\n\n\n\n

Iceberg<\/strong><\/h2>\n\n\n\n

El tercer pilar despu\u00e9s de Flink es Apache Iceberg. Iceberg es un proyecto de c\u00f3digo abierto y uno de los formatos de tabla est\u00e1ndar abiertos para todo el ecosistema de herramientas anal\u00edticas, como Snowflake. Permite a los usuarios acceder a tablas a partir de los datos almacenados en la nube y permite compartirlos ampliamente. Adem\u00e1s, existe una amplia comunidad que utiliza el formato Iceberg y este ecosistema seguir\u00e1 creciendo en los pr\u00f3ximos a\u00f1os, lo que significa que los usuarios de Iceberg dispondr\u00e1n de opciones y funcionalidades adicionales, incluso de otros proveedores.<\/p>\n\n\n\n

Otras funciones destacadas son las transacciones at\u00f3micas, en las que los datos se consignan o se intercambian totalmente para evitar la corrupci\u00f3n o la p\u00e9rdida de datos; la evoluci\u00f3n del esquema, que permite cambiar columnas sin interrumpir los datos o las consultas existentes; y el viaje en el tiempo, que desgraciadamente no implica m\u00e1quinas del tiempo pero permite a los usuarios consultar los datos tal y como exist\u00edan en un momento determinado.<\/p>\n\n\n\n

Al incorporar Iceberg, la oferta puede proporcionar un sistema unificado que permite flujos de datos en Kafka y tablas compartidas en Iceberg. Exactamente los mismos datos del motor en la nube de Kora se ponen entonces a disposici\u00f3n como tablas de Iceberg. El flujo de datos tiene lugar en tres fases. En la primera fase, los datos almacenados en el motor Kora fluyen hacia Iceberg. En la segunda fase, el flujo de datos es bidireccional, es decir, los datos est\u00e1n disponibles desde ambas ubicaciones. En la tercera fase, todos los datos de Iceberg (tablas, etc.) est\u00e1n disponibles a trav\u00e9s de Kafka.<\/p>\n\n\n\n

Gobernanza<\/strong><\/h2>\n\n\n\n

Cuando se trabaja con datos, el conocimiento de las directrices de gobierno de datos de una organizaci\u00f3n es, por supuesto, crucial. En la plataforma Confluent, la gobernanza se implementa como un flujo desde el principio. Otros factores que desempe\u00f1an un papel en la gobernanza son la calidad del flujo, el cat\u00e1logo de flujos y el linaje de flujos. La calidad del flujo consiste en la integridad de los datos, las reglas de datos y los contratos; garantiza la existencia de normas para todos los datos que pasan por la plataforma. El cat\u00e1logo de flujos y el linaje de flujos proporcionan al usuario una representaci\u00f3n visual del movimiento de los datos y de los cambios que han sufrido a lo largo de su trayectoria. La suite de gobernanza integrada y completa forma parte del producto de datos y es otra forma de resolver el problema del caos de datos reduciendo la carga de trabajo del equipo de seguridad.<\/p>\n\n\n\n

Fin del caos de datos<\/strong><\/h2>\n\n\n\n

Para los usuarios de SAP que luchan con el caos de datos de Datasphere en la BTP (Business Technology Platform), la soluci\u00f3n integral de flujo de datos en tres partes podr\u00eda ser justo el rayo de esperanza que est\u00e1n buscando. Los usuarios no s\u00f3lo podr\u00edan racionalizar sus datos, sino tambi\u00e9n reducir la carga de trabajo asociada a la gesti\u00f3n de flujos de datos complejos. Al utilizar esta trifecta de tecnolog\u00edas Apache -la plataforma de flujo de datos de Confluent, las capacidades de procesamiento de flujos de Flink y el formato de tablas de Iceberg para la gesti\u00f3n de datos-, los usuarios de SAP tienen la oportunidad de obtener un mayor control sobre sus datos y desbloquear nuevas eficiencias, lo que les permitir\u00e1 dedicar un tiempo y unos recursos valiosos a mejorar otros aspectos de sus operaciones. Esta es una de las muchas opciones interesantes que tienen a su disposici\u00f3n los usuarios de SAP, y E3 Magazine seguir\u00e1 con gran inter\u00e9s los futuros desarrollos de Confluent en materia de soluciones de flujo de datos.<\/p>\n\n\n\n

confluent.io<\/a><\/p>","protected":false},"excerpt":{"rendered":"

La revista E3 fue invitada al evento Kafka Summit London 2024 en Londres. Aqu\u00ed est\u00e1n nuestras observaciones sobre las \u00faltimas innovaciones en el mundo de Kafka Apache.<\/p>","protected":false},"author":2713,"featured_media":141473,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"0","footnotes":""},"categories":[5,43945],"tags":[43933],"coauthors":[43310],"class_list":["post-141472","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-it-management","category-mag-24-05","tag-data-streaming","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-400x180.jpg",400,180,true],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-18x8.jpg",18,8,true],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-600x270.jpg",600,270,true],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-600x450.jpg",600,450,true],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

Das E3-Magazin war zum Kafka Summit London 2024 eingeladen. Hier sind unsere Beobachtungen zu den neuesten Innovationen in der Kafka-Apache-Welt.<\/p>\n","category_list_v2":"IT-Management<\/a>, MAG 24-05<\/a>","author_info_v2":{"name":"Laura Cepeda","url":"https:\/\/e3mag.com\/es\/author\/laura-cepeda\/"},"comments_num_v2":"0 comentarios","_links":{"self":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/141472","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/users\/2713"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/comments?post=141472"}],"version-history":[{"count":12,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/141472\/revisions"}],"predecessor-version":[{"id":141616,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/141472\/revisions\/141616"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media\/141473"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media?parent=141472"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/categories?post=141472"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/tags?post=141472"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/coauthors?post=141472"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}