Le plus grand obstacle au d\u00e9part est le terme Big Data lui-m\u00eame. La traduction directe \"donn\u00e9es de masse\" ne concerne malheureusement qu'un aspect. Toutes les donn\u00e9es normales issues du syst\u00e8me ERP et d'autres bases de donn\u00e9es sont \u00e9galement des donn\u00e9es de masse.<\/p>\n
En ce qui concerne le volume, il faut donc parler de quantit\u00e9s trop importantes pour les bases de donn\u00e9es - trop importantes dans l'absolu ou en termes de co\u00fbts et d'avantages. Un autre aspect est le degr\u00e9 de structure des donn\u00e9es.<\/p>\n
Le syst\u00e8me ERP contient 99 pour cent de donn\u00e9es bien structur\u00e9es. Les 1 % sont des textes libres comme une note de livraison. Avec le Big Data, c'est l'autre extr\u00eame et les informations passionnantes se trouvent dans les zones de donn\u00e9es non structur\u00e9es. Quand et o\u00f9 une photo a \u00e9t\u00e9 prise, c'est int\u00e9ressant, mais ce que l'image montre est incomparablement plus important.<\/p>\n
Le type de traitement des donn\u00e9es va \u00e9galement de pair. Si, dans le cas des bases de donn\u00e9es, il s'agit d'une requ\u00eate du type \"total du chiffre d'affaires par mois\", dans les exemples ci-dessus, on parle soudain d'analyse d'images et d'analyse de textes.<\/p>\n
La d\u00e9finition la plus importante du big data est toutefois \"toutes les donn\u00e9es que l'on n'utilise pas aujourd'hui pour augmenter le b\u00e9n\u00e9fice de l'entreprise\". La cr\u00e9ativit\u00e9 est ici de mise.<\/p>\n
L'un de mes projets pass\u00e9s a permis d'\u00e9crire la charge de travail des serveurs dans le centre de calcul - dans le but de r\u00e9duire le nombre de serveurs. Pour illustrer mon propos, je vais vous donner un exemple.<\/p>\n
Il s'agit d'associer les ventes \u00e0 l'information sur l'intensit\u00e9 avec laquelle les clients ont consult\u00e9 le produit en question sur le site web. Par exemple, un produit fait l'objet d'une publicit\u00e9 dans les m\u00e9dias. Cette publicit\u00e9 est-elle per\u00e7ue ?<\/p>\n
Si c'est le cas, on devrait voir une augmentation du nombre de visites sur les pages de produits correspondantes. Les personnes int\u00e9ress\u00e9es lisent-elles bri\u00e8vement la page du produit, sont-elles imm\u00e9diatement convaincues et ach\u00e8tent-elles ensuite ? Ou lisent-ils tr\u00e8s attentivement les donn\u00e9es techniques et n'ach\u00e8tent-ils pas ?<\/p>\n
Une fois que l'on a une id\u00e9e des donn\u00e9es qui doivent \u00eatre analys\u00e9es avec Big Data, il faut se poser la question d'une architecture porteuse d'avenir. Dans le domaine du big data justement, de nouveaux produits sont constamment d\u00e9velopp\u00e9s pour remplacer les anciens. Il y a quelques ann\u00e9es, Map Reduce sur Hadoop \u00e9tait le nec plus ultra, puis est arriv\u00e9 Apache Spark, qui a de meilleures performances et une plus grande puissance.<\/p>\n
Pendant longtemps, Apache Hive \u00e9tait la voie \u00e0 suivre, aujourd'hui c'est Parquet Files. Dans un environnement aussi dynamique, je ne veux pas d\u00e9penser beaucoup d'argent pour une solution potentiellement utilis\u00e9e \u00e0 court terme et je veux aussi avoir l'ouverture pour pouvoir passer \u00e0 quelque chose de nouveau \u00e0 tout moment.<\/p>\n
Apache Spark r\u00e9pond \u00e0 ce besoin d'une solution \u00e0 la fois puissante et ouverte, et c'est pourquoi il est utilis\u00e9 dans presque tous les projets du monde.<\/p>\n
L'installation est simple, des transformations complexes sont possibles avec moins de lignes de code et le logiciel ne co\u00fbte rien. Les grands frais seraient engag\u00e9s pour cela lors de la mise en place d'un syst\u00e8me de BI.<\/p>\n
J'ai donc pr\u00e9f\u00e9r\u00e9 ajouter les indicateurs calcul\u00e9s par Spark \u00e0 l'entrep\u00f4t de donn\u00e9es existant et permettre aux utilisateurs d'effectuer de nouvelles analyses \u00e0 l'aide des outils existants - par exemple, corr\u00e9ler les ventes d'un produit avec le temps de lecture et le nombre de pages consult\u00e9es.<\/p>\n
Conclusion et avenir : jusqu'\u00e0 r\u00e9cemment, le stockage et le traitement de donn\u00e9es aussi secondaires n'\u00e9taient pas int\u00e9ressants en termes de prix. Le volume des donn\u00e9es \u00e9tait trop important, la densit\u00e9 des informations trop faible et la seule fa\u00e7on de traiter efficacement les donn\u00e9es \u00e9tait d'utiliser des outils proches de la BD.<\/p>\n
Ces arguments ne sont plus valables aujourd'hui. Avec le syst\u00e8me de fichiers Apache Hadoop (HDFS), il est possible de former de grands syst\u00e8mes de fichiers \u00e0 partir de composants PC bon march\u00e9, au lieu d'acheter une baie de disques co\u00fbteuse.<\/p>\n
Apache Spark peut traiter ces grandes quantit\u00e9s de donn\u00e9es, avec les algorithmes complexes qui vont avec, y compris les m\u00e9thodes statistiques et l'apprentissage automatique.<\/p>\n
Et la solution : les outils du domaine de l'entrep\u00f4t de donn\u00e9es, y compris ceux de SAP, se sont adapt\u00e9s \u00e0 cette situation et offrent un acc\u00e8s direct aux fichiers Hadoop ou envoient des t\u00e2ches de transformation \u00e0 un cluster Spark connect\u00e9. L'une de ces perles m\u00e9connues est le SAP Hana Spark Connector.<\/p>","protected":false},"excerpt":{"rendered":"
De nombreuses entreprises en sont \u00e0 leurs d\u00e9buts en mati\u00e8re de Big Data. On a de premi\u00e8res id\u00e9es. On explore le potentiel. SAP aussi a des approches diff\u00e9rentes du sujet, selon le service avec lequel on parle.<\/p>","protected":false},"author":1891,"featured_media":62136,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[36004,7,36593],"tags":[210,927,73,798],"coauthors":[36006],"class_list":["post-62752","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-smart-big-data-integration","category-meinung","category-mag-1910","tag-big-data","tag-data-warehouse","tag-erp","tag-hadoop","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",400,180,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"
Viele Firmen stehen in Bezug auf Big Data am Anfang. Man hat erste Ideen. Das Potenzial wird ausgelotet. Auch SAP hat unterschiedliche Herangehensweisen an das Thema, je nachdem mit welcher Abteilung man spricht.<\/p>\n","category_list_v2":"Smart & Big Data Integration<\/a>, Die Meinung der SAP-Community<\/a>, MAG 19-10<\/a>","author_info_v2":{"name":"Werner D\u00e4hn, rtdi.io","url":"https:\/\/e3mag.com\/fr\/author\/werner-daehn\/"},"comments_num_v2":"0 commentaire","_links":{"self":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/62752","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/users\/1891"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/comments?post=62752"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/62752\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media\/62136"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media?parent=62752"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/categories?post=62752"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/tags?post=62752"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/coauthors?post=62752"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}