Con los datos masivos de traducci\u00f3n directa, s\u00f3lo se da con un aspecto. Todos los datos normales del sistema ERP y de otras bases de datos son tambi\u00e9n datos masivos.<\/p>\n
En cuanto al volumen de datos, hay que hablar de cantidades demasiado grandes para las bases de datos, demasiado grandes en sentido absoluto o en el sentido de coste\/beneficio.<\/p>\n
El aspecto m\u00e1s interesante es el grado de estructuraci\u00f3n de los datos. El sistema ERP contiene un 99% de datos bien estructurados, como el campo MATART (tipo de material) de la tabla MARA (maestro de materiales).<\/p>\n
El uno por ciento es texto libre, como un albar\u00e1n. Con Big Data, es el otro extremo y la informaci\u00f3n apasionante est\u00e1 en las \u00e1reas de datos no estructurados. Cu\u00e1ndo y d\u00f3nde se tom\u00f3 una foto es interesante, pero lo que muestra la imagen es mucho m\u00e1s importante.<\/p>\n
Esto tambi\u00e9n va acompa\u00f1ado del tipo de preparaci\u00f3n de los datos. Mientras que con las bases de datos se trata de una consulta del tipo \"facturaci\u00f3n total al mes\", en el ejemplo anterior hablamos de repente de an\u00e1lisis de im\u00e1genes.<\/p>\n
Incluso en casos no tan extremos, como los archivos de registro, no se realizan sumas ni recuentos sencillos. Las bases de datos son, por tanto, la peor opci\u00f3n para este tipo de datos.<\/p>\n
Sin embargo, la definici\u00f3n m\u00e1s importante de Big Data es \"todos los datos que no se utilizan hoy para aumentar los beneficios de la empresa\". La creatividad est\u00e1 a la orden del d\u00eda. Uno de mis \u00faltimos proyectos ten\u00eda que ver con la utilizaci\u00f3n de servidores en el centro de datos, con el objetivo de reducir el n\u00famero de servidores.<\/p>\n
Un ejemplo: las ventas deben vincularse con informaci\u00f3n sobre la intensidad con que los clientes han visto el producto correspondiente en el sitio web. Por ejemplo, un producto se anuncia en los medios de comunicaci\u00f3n.<\/p>\n
\u00bfSe nota esta publicidad? Si es as\u00ed, deber\u00eda aumentar el n\u00famero de visitas a las p\u00e1ginas de producto correspondientes. \u00bfLos interesados leen brevemente la p\u00e1gina del producto, se convencen inmediatamente y compran?<\/p>\n
El servidor web ya escribe todos los accesos a las p\u00e1ginas en archivos de registro, pero al cabo de una semana se borran. Por tanto, los datos para ello estar\u00edan disponibles, s\u00f3lo que a\u00fan no se utilizan.<\/p>\n
El objetivo es la m\u00e1xima eficacia y flexibilidad. Hace unos a\u00f1os, Map Reduce en Hadoop era lo m\u00e1ximo, luego lleg\u00f3 Apache Spark. Pod\u00eda hacer m\u00e1s, con mejor rendimiento y mayor potencia.<\/p>\n
Durante mucho tiempo Apache Hive fue el camino a seguir, hoy es Parquet Files. En un entorno tan din\u00e1mico, no quiero gastar muchos recursos en una soluci\u00f3n potencialmente a corto plazo y tambi\u00e9n tener la apertura para cambiar a algo nuevo en cualquier momento.<\/p>\n
Apache Spark es actualmente una soluci\u00f3n tan potente como abierta. Con ella, los archivos de registro del servidor web se descomponen en filas y columnas con una sola l\u00ednea de c\u00f3digo. Es m\u00e1s complejo desarrollar la l\u00f3gica para deducir el tiempo de lectura por p\u00e1gina a partir del historial de p\u00e1ginas vistas.<\/p>\n
Si finalmente a\u00f1ado estas y otras cifras clave al almac\u00e9n de datos, permite realizar an\u00e1lisis combinados, por ejemplo, para visualizar las cifras clave de facturaci\u00f3n, tiempo de lectura y p\u00e1ginas vistas a lo largo del tiempo para un producto.<\/p>\n
Hasta hace poco, almacenar y procesar datos secundarios no ten\u00eda un precio atractivo. El volumen de datos era demasiado grande, la densidad de informaci\u00f3n demasiado baja y la \u00fanica forma de procesarlos eficazmente era con herramientas relacionadas con las bases de datos.<\/p>\n
Con Apache Hadoop Filesystem (HDFS), se pueden formar grandes sistemas de archivos a partir de componentes baratos de PC en lugar de comprar una costosa matriz de discos. Apache Spark puede procesar estos grandes conjuntos de datos, con los complejos algoritmos asociados que incluyen m\u00e9todos estad\u00edsticos y de aprendizaje autom\u00e1tico.<\/p>\n
Las herramientas de almac\u00e9n de datos, incluidas las de SAP, se han adaptado a esta situaci\u00f3n y ofrecen acceso directo a archivos Hadoop o env\u00edan tareas de transformaci\u00f3n a un cl\u00faster Spark conectado. Una forma muy sencilla de leer datos de Hana es a trav\u00e9s de SAP Hana Spark Connector.<\/p>","protected":false},"excerpt":{"rendered":"
\u00bfQu\u00e9 significa exactamente el t\u00e9rmino Big Data? \u00bfSignifica Big Data simplemente datos masivos, es decir, \"muchos datos\" en el almac\u00e9n de datos? \u00bfO es Big Data un sustituto del almac\u00e9n de datos?<\/p>","protected":false},"author":1891,"featured_media":62136,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[7,36983,36004],"tags":[73],"coauthors":[36006],"class_list":["post-63660","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-meinung","category-mag-1911","category-smart-big-data-integration","tag-erp","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",400,180,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"
Was genau ist mit dem Begriff Big Data eigentlich gemeint? Bedeutet Big Data einfach Massendaten, also \u201eviele Daten\u201c im Data Warehouse? Oder ist Big Data ein Ersatz f\u00fcr das Data Warehouse?<\/p>\n","category_list_v2":"Die Meinung der SAP-Community<\/a>, MAG 19-11<\/a>, Smart & Big Data Integration<\/a>","author_info_v2":{"name":"Werner D\u00e4hn, rtdi.io","url":"https:\/\/e3mag.com\/es\/author\/werner-daehn\/"},"comments_num_v2":"0 comentarios","_links":{"self":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/63660","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/users\/1891"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/comments?post=63660"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/63660\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media\/62136"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media?parent=63660"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/categories?post=63660"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/tags?post=63660"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/coauthors?post=63660"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}