Avec la traduction directe des donn\u00e9es de masse, on ne touche qu'un aspect. Toutes les donn\u00e9es normales issues du syst\u00e8me ERP et d'autres bases de donn\u00e9es sont \u00e9galement des donn\u00e9es de masse.<\/p>\n
En ce qui concerne le volume des donn\u00e9es, il faut parler de quantit\u00e9s trop importantes pour les bases de donn\u00e9es - trop importantes dans l'absolu ou en termes de co\u00fbt\/b\u00e9n\u00e9fice.<\/p>\n
L'aspect le plus int\u00e9ressant est le degr\u00e9 de structure des donn\u00e9es. Le syst\u00e8me ERP contient \u00e0 99 % des donn\u00e9es bien structur\u00e9es, comme le champ MATART (type d'article) dans la table MARA (base de donn\u00e9es articles).<\/p>\n
Le premier pour cent, ce sont des textes libres comme une note de livraison. Avec le Big Data, c'est l'autre extr\u00eame et les informations passionnantes se trouvent dans les zones de donn\u00e9es non structur\u00e9es. Il est int\u00e9ressant de savoir quand et o\u00f9 une photo a \u00e9t\u00e9 prise, mais ce que l'image montre est incomparablement plus important.<\/p>\n
Le type de traitement des donn\u00e9es va \u00e9galement de pair. Si, dans le cas d'une base de donn\u00e9es, il s'agit d'une requ\u00eate du type \"total des ventes par mois\", dans l'exemple ci-dessus, on parle soudain d'analyse d'images.<\/p>\n
M\u00eame dans les cas moins extr\u00eames, comme les fichiers journaux, les totalisations et les comptages ne sont pas simples. Les bases de donn\u00e9es sont donc le pire choix pour de telles donn\u00e9es.<\/p>\n
La d\u00e9finition la plus importante du big data est toutefois \"toutes les donn\u00e9es que l'on n'utilise pas aujourd'hui pour augmenter les b\u00e9n\u00e9fices de l'entreprise\". Ici, la cr\u00e9ativit\u00e9 est de mise. L'un de mes derniers projets a co-\u00e9crit l'utilisation des serveurs dans le centre de calcul - dans le but de r\u00e9duire le nombre de serveurs.<\/p>\n
Un exemple : les ventes doivent \u00eatre associ\u00e9es \u00e0 l'information sur l'intensit\u00e9 avec laquelle les clients ont consult\u00e9 le produit en question sur le site web. Par exemple, un produit fait l'objet d'une publicit\u00e9 dans les m\u00e9dias.<\/p>\n
Cette publicit\u00e9 est-elle per\u00e7ue ? Si oui, on devrait voir une augmentation du nombre de visites sur les pages de produits correspondantes. Les personnes int\u00e9ress\u00e9es lisent bri\u00e8vement la page du produit, sont imm\u00e9diatement convaincues et ach\u00e8tent ensuite ?<\/p>\n
Le serveur web enregistre d\u00e9j\u00e0 tous les acc\u00e8s aux pages dans des fichiers journaux, mais ils sont supprim\u00e9s au bout d'une semaine. Les donn\u00e9es n\u00e9cessaires seraient donc disponibles, mais elles ne sont pas encore utilis\u00e9es.<\/p>\n
L'objectif est de maximiser l'efficacit\u00e9 et la flexibilit\u00e9. Il y a quelques ann\u00e9es, Map Reduce sur Hadoop \u00e9tait le nec plus ultra, puis Apache Spark est arriv\u00e9. Il pouvait faire plus, avec de meilleures performances et une plus grande puissance.<\/p>\n
Pendant longtemps, Apache Hive \u00e9tait la voie \u00e0 suivre, aujourd'hui c'est Parquet Files. Dans un environnement aussi dynamique, je ne veux pas d\u00e9penser beaucoup de ressources pour une solution potentiellement utilis\u00e9e \u00e0 court terme et je veux aussi avoir l'ouverture n\u00e9cessaire pour pouvoir passer \u00e0 quelque chose de nouveau \u00e0 tout moment.<\/p>\n
Actuellement, Apache Spark est une solution \u00e0 la fois puissante et ouverte. Une ligne de code suffit pour d\u00e9composer les fichiers journaux du serveur web en lignes et en colonnes. Ce qui est plus compliqu\u00e9, c'est de d\u00e9velopper la logique permettant de d\u00e9duire la dur\u00e9e de lecture par page \u00e0 partir de l'historique des pages consult\u00e9es.<\/p>\n
Si j'ajoute finalement ces chiffres et d'autres \u00e0 l'entrep\u00f4t de donn\u00e9es, cela permet de r\u00e9aliser des analyses combin\u00e9es - par exemple, pour un produit, de visualiser les chiffres cl\u00e9s du chiffre d'affaires, de la dur\u00e9e de lecture et du nombre de pages consult\u00e9es au fil du temps.<\/p>\n
Jusqu'\u00e0 r\u00e9cemment, le stockage et le traitement des donn\u00e9es secondaires n'\u00e9taient pas int\u00e9ressants en termes de prix. Le volume des donn\u00e9es \u00e9tait trop important, la densit\u00e9 des informations trop faible et la seule fa\u00e7on de traiter efficacement les donn\u00e9es \u00e9tait d'utiliser des outils proches des bases de donn\u00e9es.<\/p>\n
Avec le syst\u00e8me de fichiers Apache Hadoop (HDFS), de grands syst\u00e8mes de fichiers peuvent \u00eatre form\u00e9s \u00e0 partir de composants PC bon march\u00e9, au lieu d'acheter une baie de disques co\u00fbteuse. Apache Spark peut traiter ces grandes quantit\u00e9s de donn\u00e9es, avec les algorithmes complexes qui vont avec, y compris les m\u00e9thodes statistiques et l'apprentissage automatique.<\/p>\n
Les outils du domaine de l'entrep\u00f4t de donn\u00e9es, y compris ceux de SAP, se sont adapt\u00e9s \u00e0 cette situation et offrent un acc\u00e8s direct aux fichiers Hadoop ou envoient des t\u00e2ches de transformation \u00e0 un cluster Spark connect\u00e9. Une mani\u00e8re tr\u00e8s simple de lire des donn\u00e9es \u00e0 partir de Hana est de passer par le SAP Hana Spark Connector.<\/p>","protected":false},"excerpt":{"rendered":"
Que signifie exactement le terme Big Data ? Big Data signifie-t-il simplement donn\u00e9es de masse, c'est-\u00e0-dire \"beaucoup de donn\u00e9es\" dans l'entrep\u00f4t de donn\u00e9es ? Ou s'agit-il d'un substitut \u00e0 l'entrep\u00f4t de donn\u00e9es ?<\/p>","protected":false},"author":1891,"featured_media":62136,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[7,36983,36004],"tags":[73],"coauthors":[36006],"class_list":["post-63660","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-meinung","category-mag-1911","category-smart-big-data-integration","tag-erp","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",400,180,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"
Was genau ist mit dem Begriff Big Data eigentlich gemeint? Bedeutet Big Data einfach Massendaten, also \u201eviele Daten\u201c im Data Warehouse? Oder ist Big Data ein Ersatz f\u00fcr das Data Warehouse?<\/p>\n","category_list_v2":"Die Meinung der SAP-Community<\/a>, MAG 19-11<\/a>, Smart & Big Data Integration<\/a>","author_info_v2":{"name":"Werner D\u00e4hn, rtdi.io","url":"https:\/\/e3mag.com\/fr\/author\/werner-daehn\/"},"comments_num_v2":"0 commentaire","_links":{"self":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/63660","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/users\/1891"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/comments?post=63660"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/posts\/63660\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media\/62136"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/media?parent=63660"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/categories?post=63660"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/tags?post=63660"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/fr\/wp-json\/wp\/v2\/coauthors?post=63660"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}