{"id":141472,"date":"2024-04-03T11:08:04","date_gmt":"2024-04-03T09:08:04","guid":{"rendered":"http:\/\/e3mag.com\/?p=141472"},"modified":"2026-02-20T08:43:39","modified_gmt":"2026-02-20T07:43:39","slug":"la-fin-du-chaos-des-donnees","status":"publish","type":"post","link":"https:\/\/e3mag.com\/fr\/ende-des-datenchaos\/","title":{"rendered":"Fin du chaos des donn\u00e9es"},"content":{"rendered":"<h2 class=\"wp-block-heading\"><strong>Le probl\u00e8me<\/strong><\/h2>\n\n\n\n<p>Jay Kreps est le fondateur et CEO de Confluent et l'un des auteurs originaux du projet open source Apache Kafka. Il tente de r\u00e9soudre un probl\u00e8me que beaucoup connaissent : les donn\u00e9es ne sont pas \u00e0 jour, les connexions sont fragiles et c'est une lutte permanente pour exploiter pleinement les donn\u00e9es, car il n'existe pas de structure unique pour organiser les donn\u00e9es entre les diff\u00e9rents secteurs d'une entreprise. Un syst\u00e8me est en place depuis le d\u00e9but, puis de nouvelles connexions, de nouveaux fils, sont ajout\u00e9s, ce qui donne lieu \u00e0 un amalgame de d\u00e9sordres.<\/p>\n\n\n\n<p>De nombreuses offres actuelles proposent des solutions uniquement pour l'aspect analytique des donn\u00e9es, mais pas pour l'aspect op\u00e9rationnel, et inversement. Or, les entreprises doivent \u00eatre en mesure d'acc\u00e9der \u00e0 l'ensemble de leurs donn\u00e9es dans leur int\u00e9gralit\u00e9, en particulier si elles pr\u00e9voient de mettre en \u0153uvre l'IA dans leur entreprise. Toute IA qu'elles d\u00e9veloppent ne peut \u00eatre aussi bonne que les donn\u00e9es avec lesquelles elle est entra\u00een\u00e9e.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Responsabilit\u00e9s, technologies et processus<\/strong><\/h2>\n\n\n\n<p>D'autres ont tent\u00e9 de ma\u00eetriser le chaos en comblant le foss\u00e9 entre le domaine op\u00e9rationnel, o\u00f9 s'ex\u00e9cutent les applications de gestion de l'entreprise, et le domaine analytique, o\u00f9 sont analys\u00e9es les donn\u00e9es et \u00e9valu\u00e9s les aspects financiers, par d'autres moyens, par exemple les technologies de data lake. Cependant, le fondateur et PDG de Kafka Apache, Jay Kreps, est tout \u00e0 fait ambitieux et tente de r\u00e9soudre le probl\u00e8me de l'encombrement des syst\u00e8mes et infrastructures de donn\u00e9es. Kreps a propos\u00e9 comme solution un produit de donn\u00e9es universel qui utilise le streaming de donn\u00e9es comme moyen de permettre aux entreprises d'acc\u00e9der aux donn\u00e9es et de les filtrer en temps r\u00e9el - ce qui, selon la d\u00e9finition de Jay Kreps, signifie simplement qu'elles sont tr\u00e8s rapides, tant au niveau op\u00e9rationnel qu'analytique, la faible latence \u00e9tant la norme.<\/p>\n\n\n\n<p>Selon Confluent, un produit de donn\u00e9es est un ensemble de donn\u00e9es fiables sp\u00e9cialement con\u00e7u pour \u00eatre partag\u00e9 et r\u00e9utilis\u00e9 avec d'autres \u00e9quipes et services. C'est une formalisation des responsabilit\u00e9s, des technologies et des processus qui permet aux utilisateurs d'acc\u00e9der facilement aux donn\u00e9es dont ils ont besoin.<\/p>\n\n\n\n<p>Le produit Data de Confluent est une solution de streaming de donn\u00e9es de bout en bout - une triple attaque contre le chaos des donn\u00e9es - compos\u00e9e de la Confluent Data Streaming Platform, qui fournit la fonctionnalit\u00e9 centrale de streaming, d'Apache Flink, qui permet le traitement en temps r\u00e9el, et d'Iceberg, qui permet de visualiser les r\u00e9sultats et de les partager sous forme de tableaux. Les architectures pour les applications d'IA, qui englobent \u00e0 la fois le monde op\u00e9rationnel et le monde analytique, n\u00e9cessitent un traitement par lots, et le streaming est une g\u00e9n\u00e9ralisation du traitement par lots, un sur-ensemble de celui-ci.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Plate-forme de streaming de donn\u00e9es<\/strong><\/h2>\n\n\n\n<p>Confluent Data Streaming Platform est une offre cloudnative, sans serveur, qui int\u00e8gre Kora, le nouveau moteur Kafka pour le cloud avec stockage infini, qui serait seize fois plus rapide que l'Apache Kafka original. Apache Kafka est un syst\u00e8me distribu\u00e9, un mod\u00e8le PubSub, dans lequel les producteurs sont en mesure d'envoyer des messages - c'est-\u00e0-dire des donn\u00e9es en temps r\u00e9el - \u00e0 la plateforme de streaming de donn\u00e9es, et tous les consommateurs en aval qui souhaitent travailler avec ces donn\u00e9es dans une approche one-to-many peuvent y acc\u00e9der et travailler directement avec elles. La plateforme Confluent s'appuie sur Apache Kafka et facilite les fonctions de streaming de donn\u00e9es en r\u00e9duisant la n\u00e9cessit\u00e9 pour les entreprises de g\u00e9rer le syst\u00e8me d'origine. Elle offre une accessibilit\u00e9 suppl\u00e9mentaire \u00e0 Apache Kafka en \u00e9liminant les frais g\u00e9n\u00e9raux, les co\u00fbts et les autres d\u00e9fis li\u00e9s \u00e0 la gestion des logiciels open source.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Int\u00e9gration SAP<\/strong><\/h2>\n\n\n\n<p>Une partie importante du d\u00e9veloppement de Confluent est l'int\u00e9gration SAP. SAP \u00e9tant une offre phare de Confluent, l'int\u00e9gration est directement int\u00e9gr\u00e9e dans la console SAP. Confluent permet aux clients SAP d'acc\u00e9der \u00e0 leurs donn\u00e9es SAP et de les fusionner en temps r\u00e9el avec toutes les diff\u00e9rentes sources de donn\u00e9es, telles que les donn\u00e9es IoT, les donn\u00e9es des outils marketing, les flux de clics en temps r\u00e9el sur Internet et d'autres sources, afin qu'ils puissent les transmettre en temps r\u00e9el sous forme de produit de donn\u00e9es complet aux bases de donn\u00e9es, aux entrep\u00f4ts de donn\u00e9es, aux lacs de donn\u00e9es et aux outils d'IA-ML.&nbsp;<\/p>\n\n\n\n<p>Les clients SAP ont la possibilit\u00e9 d'acc\u00e9der \u00e0 la plateforme Confluent Data Streaming et aux flux de donn\u00e9es enti\u00e8rement g\u00e9r\u00e9s directement depuis SAP Datasphere. Cela signifie que lorsque les utilisateurs travaillent avec Datasphere sur la BTP (Business Technology Platform), ils ont en plus la possibilit\u00e9 de configurer une \u00e9criture en temps r\u00e9el de ces donn\u00e9es dans des flux de donn\u00e9es enti\u00e8rement g\u00e9r\u00e9s sur le site Confluent. De cette mani\u00e8re, les utilisateurs peuvent lib\u00e9rer les donn\u00e9es ERP \u00e0 partir de SAP et d\u00e9placer ces donn\u00e9es en aval pour alimenter les applications et les analyses en donn\u00e9es en temps r\u00e9el.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Rapide<\/strong><\/h2>\n\n\n\n<p>Le deuxi\u00e8me pilier de l'attaque en trois parties, apr\u00e8s la plate-forme de diffusion de donn\u00e9es Confluent, est Apache Flink. Flink est un service de traitement de flux open source qui fonctionne comme un traitement syst\u00e8me par lots. Confluent affirme que Flink, tout comme le moteur de recherche Kora, est seize fois plus rapide qu'Apache Kafka, ce qui en fait un add-on \u00e0 prendre en consid\u00e9ration si la vitesse est une priorit\u00e9. Le produit permet aux utilisateurs de traiter les donn\u00e9es sans une seule ligne de code, ce qui facilite la gestion pour le personnel ayant des connaissances moins sp\u00e9cialis\u00e9es, bien que des options de codage soient \u00e9galement disponibles pour ceux qui sont int\u00e9ress\u00e9s. Flink permet \u00e9galement de traiter des flux de donn\u00e9es continus \u00e0 faible latence et \u00e0 haut d\u00e9bit, avec des capacit\u00e9s suppl\u00e9mentaires telles que des s\u00e9mantiques de traitement sp\u00e9cifiques et la prise en charge de plusieurs API.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Iceberg<\/strong><\/h2>\n\n\n\n<p>Le troisi\u00e8me pilier apr\u00e8s Flink est Apache Iceberg. Iceberg est un projet open source et l'un des formats de tableau standard ouverts pour l'ensemble de l'\u00e9cosyst\u00e8me des outils d'analyse, comme Snowflake par exemple. Il permet aux utilisateurs d'acc\u00e9der aux tableaux \u00e0 partir des donn\u00e9es stock\u00e9es dans le stockage en nuage et permet un large partage. En outre, il existe une large communaut\u00e9 qui utilise le format Iceberg et cet \u00e9cosyst\u00e8me continuera \u00e0 se d\u00e9velopper dans les ann\u00e9es \u00e0 venir, ce qui signifie que des options et des fonctionnalit\u00e9s suppl\u00e9mentaires seront disponibles pour les utilisateurs d'Iceberg, y compris de la part d'autres fournisseurs.<\/p>\n\n\n\n<p>Parmi les autres caract\u00e9ristiques remarquables, on peut citer les transactions atomiques, dans lesquelles les donn\u00e9es sont soit enti\u00e8rement fig\u00e9es, soit enti\u00e8rement externalis\u00e9es afin d'\u00e9viter toute corruption ou perte de donn\u00e9es ; l'\u00e9volution des sch\u00e9mas, qui permet de modifier les colonnes sans interrompre les donn\u00e9es ou les requ\u00eates existantes ; et le voyage dans le temps, qui n'implique malheureusement pas de machines \u00e0 remonter le temps, mais qui permet aux utilisateurs d'interroger les donn\u00e9es telles qu'elles existaient \u00e0 un moment donn\u00e9.<\/p>\n\n\n\n<p>En int\u00e9grant Iceberg, l'offre peut offrir un syst\u00e8me unifi\u00e9 permettant des flux de donn\u00e9es dans Kafka et des tables communes dans Iceberg. Exactement les m\u00eames donn\u00e9es du moteur cloud de Kora sont ensuite mises \u00e0 disposition sous forme de tables Iceberg. Le flux de donn\u00e9es se d\u00e9roule en trois phases. Dans la premi\u00e8re phase, les donn\u00e9es stock\u00e9es dans le moteur Kora circulent dans Iceberg. Dans la deuxi\u00e8me phase, le flux de donn\u00e9es est bidirectionnel, c'est-\u00e0-dire que les donn\u00e9es sont disponibles \u00e0 partir des deux sites. Dans la troisi\u00e8me phase, toutes les donn\u00e9es d'Iceberg (tableaux, etc.) sont disponibles via Kafka.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Gouvernance<\/strong><\/h2>\n\n\n\n<p>Lorsqu'on travaille avec des donn\u00e9es, il est \u00e9videmment essentiel de conna\u00eetre les politiques de gouvernance des donn\u00e9es d'une entreprise. Dans la plateforme Confluent, la gouvernance est impl\u00e9ment\u00e9e d\u00e8s le d\u00e9part sous forme de flux. Les autres facteurs qui jouent un r\u00f4le dans la gouvernance sont la qualit\u00e9 du flux, le catalogue des flux et le lignage des flux. La qualit\u00e9 du flux se compose de l'int\u00e9grit\u00e9 des donn\u00e9es, des r\u00e8gles de donn\u00e9es et des contrats ; elle garantit l'existence de normes pour toutes les donn\u00e9es qui transitent par la plate-forme. Le catalogue et le lignage des flux permettent \u00e0 l'utilisateur de visualiser les mouvements des donn\u00e9es et les changements qu'elles ont subis le long de leur trajectoire. La suite de gouvernance int\u00e9gr\u00e9e et compl\u00e8te fait partie du produit de donn\u00e9es et constitue une autre mani\u00e8re de r\u00e9soudre le probl\u00e8me du chaos des donn\u00e9es en r\u00e9duisant la charge de travail de l'\u00e9quipe de s\u00e9curit\u00e9.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Fin du chaos des donn\u00e9es<\/strong><\/h2>\n\n\n\n<p>Pour les utilisateurs SAP aux prises avec le chaos des donn\u00e9es dans Datasphere sur la BTP (Business Technology Platform), la solution compl\u00e8te de streaming de donn\u00e9es en trois parties pourrait \u00eatre exactement la lueur d'espoir qu'ils recherchent. Les utilisateurs pourraient non seulement rationaliser leurs donn\u00e9es, mais aussi r\u00e9duire la charge de travail associ\u00e9e \u00e0 la gestion de flux de donn\u00e9es complexes. En utilisant ce triptyque de technologies Apache - la plateforme de streaming de donn\u00e9es de Confluent, les capacit\u00e9s de traitement de flux de Flink et le format de table d'Iceberg pour la gestion des donn\u00e9es - les utilisateurs SAP ont la possibilit\u00e9 d'avoir un meilleur contr\u00f4le sur leurs donn\u00e9es et d'exploiter de nouveaux gisements d'efficacit\u00e9, ce qui leur permet de consacrer un temps et des ressources pr\u00e9cieux \u00e0 l'am\u00e9lioration d'autres aspects de leurs op\u00e9rations. C'est l'une des nombreuses options int\u00e9ressantes qui s'offrent aux utilisateurs SAP, et le magazine E3 suivra avec grand int\u00e9r\u00eat les futurs d\u00e9veloppements de Confluent en mati\u00e8re de solutions de streaming de donn\u00e9es.<\/p>\n\n\n\n<p><a href=\"https:\/\/www.confluent.io\/de-de\/\" target=\"_blank\" rel=\"noreferrer noopener\">confluent.io<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>Le magazine E3 a \u00e9t\u00e9 invit\u00e9 au Kafka Summit London 2024. Voici nos observations sur les derni\u00e8res innovations dans le monde de Kafka Apache.<\/p>","protected":false},"author":2713,"featured_media":141473,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"0","footnotes":""},"categories":[5,43945],"tags":[43933],"coauthors":[43310],"class_list":["post-141472","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-it-management","category-mag-24-05","tag-data-streaming","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-400x180.jpg",400,180,true],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-18x8.jpg",18,8,true],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-600x270.jpg",600,270,true],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-600x450.jpg",600,450,true],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2024\/03\/jay-kreps-apache-ceo-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"<p>Das E3-Magazin war zum Kafka Summit London 2024 eingeladen. Hier sind unsere Beobachtungen zu den neuesten Innovationen in der Kafka-Apache-Welt.<\/p>\n","category_list_v2":"<a href=\"https:\/\/e3mag.com\/fr\/category\/it-management\/\" rel=\"category tag\">IT-Management<\/a>, <a href=\"https:\/\/e3mag.com\/fr\/category\/mag-24-05\/\" rel=\"category tag\">MAG 24-05<\/a>","author_info_v2":{"name":"Laura Cepeda","url":"https:\/\/e3mag.com\/fr\/author\/laura-cepeda\/"},"comments_num_v2":"0 commentaire","_links":{"self":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/141472","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/users\/2713"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/comments?post=141472"}],"version-history":[{"count":12,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/141472\/revisions"}],"predecessor-version":[{"id":141616,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/141472\/revisions\/141616"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media\/141473"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media?parent=141472"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/categories?post=141472"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/tags?post=141472"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/coauthors?post=141472"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}