{"id":62135,"date":"2019-10-02T11:00:14","date_gmt":"2019-10-02T09:00:14","guid":{"rendered":"http:\/\/e3mag.com\/?p=62135"},"modified":"2020-02-08T16:11:33","modified_gmt":"2020-02-08T15:11:33","slug":"arquitectura-de-big-data","status":"publish","type":"post","link":"https:\/\/e3mag.com\/es\/big-data-architektur\/","title":{"rendered":"Arquitectura de Big Data"},"content":{"rendered":"<p>Como arquitecto de software, mi objetivo es realizar tareas complicadas mediante soluciones sencillas. Cada uno de los componentes de una soluci\u00f3n tiene ventajas e inconvenientes; el arte consiste en combinarlos de tal manera que en suma las ventajas se mantengan y los inconvenientes se anulen mutuamente.<\/p>\n<p>Para muchos usuarios de SAP, el primer paso ser\u00e1 habilitar la anal\u00edtica con big data, es decir, encontrar informaci\u00f3n interesante en estas enormes cantidades de datos.<\/p>\n<p>Pero en lugar de construir una infraestructura completamente nueva para los usuarios, combino el sistema de Big Data con el almac\u00e9n de datos existente.<\/p>\n<p>El cient\u00edfico de datos obtiene el lago de datos, un \u00e1rea de datos en la que est\u00e1n disponibles todos los datos en bruto, y una potente herramienta con la que tambi\u00e9n puede procesar estos datos en bruto. El resultado de su trabajo son nuevos ratios que a\u00f1ado al almac\u00e9n de datos. Esto tiene varias ventajas:<\/p>\n<ul>\n<li>El usuario empresarial sigue utilizando sus herramientas habituales de an\u00e1lisis, s\u00f3lo que ahora dispone de m\u00e1s ratios.<\/li>\n<li>El cient\u00edfico de datos tiene acceso a todos los datos, Big Data y datos ERP.<\/li>\n<li>Para TI, el esfuerzo es asumible.<\/li>\n<\/ul>\n<p>Esta soluci\u00f3n tambi\u00e9n es atractiva en el contexto de costes vs. beneficios vs. probabilidades de \u00e9xito: al acoplarme a lo existente, tengo un \u00e1mbito de proyecto reducido, por tanto un riesgo de proyecto minimizado y una implantaci\u00f3n m\u00e1s barata, pero sigo aprovechando al m\u00e1ximo los beneficios potenciales.<\/p>\n<p>As\u00ed, una soluci\u00f3n de Big Data consta \u00fanicamente de dos componentes: el lago de datos con los datos en bruto y un cl\u00faster de servidores donde tiene lugar la preparaci\u00f3n de los datos.<\/p>\n<h3>Lago de datos o SAP Vora<\/h3>\n<p>En el pasado, SAP ofrec\u00eda SAP Vora como lago de datos y vende la soluci\u00f3n Altiscale con el nombre de Big Data Services. B\u00e1sicamente, sin embargo, el lago de datos no es m\u00e1s que un gran sistema de archivos. Si, a pesar de todo, los comerciales de SAP proponen Vora, Altiscale o DataHub, habr\u00e1 que cuestionarse muy cr\u00edticamente el precio y el rendimiento.<\/p>\n<p>\u00bfPor qu\u00e9 no empezar con un disco duro local o el servidor central de archivos en la primera fase del proyecto? Mientras haya espacio suficiente y los costes del espacio de almacenamiento no sean demasiado elevados, esto es v\u00e1lido en todas partes. Copiar los archivos es posible en cualquier momento y sin problemas, as\u00ed que no bloqueo nada para el futuro.<\/p>\n<h3>Preparaci\u00f3n con Apache Spark<\/h3>\n<p>Para procesar estos datos, la mayor\u00eda de los proyectos actuales utilizan el marco de c\u00f3digo abierto Apache Spark. Permite escribir programas para el tratamiento de datos con solo unas pocas l\u00edneas de c\u00f3digo y ejecutarlos en paralelo en un cl\u00faster de servidores.<\/p>\n<p>No hay raz\u00f3n para que reinvente la rueda aqu\u00ed, sobre todo porque una instalaci\u00f3n de este tipo es muy sencilla y puede hacerse en diez minutos: descargar el paquete en un peque\u00f1o ordenador Linux, extraerlo e iniciar un maestro y un primer trabajador mediante el comando start-all.<\/p>\n<h3>Reto: Algoritmo<\/h3>\n<p>La tecnolog\u00eda es manejable con el planteamiento anterior. Desarrollar los algoritmos para los nuevos ratios es la parte dif\u00edcil: \u00bfc\u00f3mo extraer informaci\u00f3n de los datos masivos que, en \u00faltima instancia, se reflejar\u00e1 en los beneficios de la empresa?<\/p>\n<p>Aqu\u00ed es exactamente donde se decide el \u00e9xito de un proyecto de Big Data. Aqu\u00ed es exactamente donde creo que tiene sentido invertir, por ejemplo, en la formaci\u00f3n de un cient\u00edfico de datos.<\/p>\n<p>En las siguientes columnas responder\u00e9, entre otras, a las siguientes preguntas: \u00bfPor qu\u00e9 usar Apache Spark y no una herramienta ETL? \u00bfPor qu\u00e9 necesitas un lago de datos si los datos ya est\u00e1n en el almac\u00e9n de datos? Etc.<\/p>","protected":false},"excerpt":{"rendered":"<p>Big Data es un gran tema, pero la multitud de posibilidades es abrumadora. Cada proveedor de software presenta productos diferentes y objetivos distintos. Me gustar\u00eda aportar algo de estructura a esta jungla y facilitar la puesta en marcha.<\/p>","protected":false},"author":1891,"featured_media":62136,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[7,35911,36004],"tags":[937,210,927,67],"coauthors":[36006],"class_list":["post-62135","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-meinung","category-mag-1909","category-smart-big-data-integration","tag-analytics","tag-big-data","tag-data-warehouse","tag-linux","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",400,180,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"<p>Big Data ist ein gro\u00dfes Thema, doch die Vielzahl an M\u00f6glichkeiten erschl\u00e4gt. Jeder SW-Anbieter kommt mit verschiedenen Produkten und unterschiedlichen Zielen. In diesen Dschungel m\u00f6chte ich etwas Struktur bringen und den Einstieg erleichtern.<\/p>\n","category_list_v2":"<a href=\"https:\/\/e3mag.com\/es\/category\/meinung\/\" rel=\"category tag\">Die Meinung der SAP-Community<\/a>, <a href=\"https:\/\/e3mag.com\/es\/category\/mag-1909\/\" rel=\"category tag\">MAG 19-09<\/a>, <a href=\"https:\/\/e3mag.com\/es\/category\/meinung\/smart-big-data-integration\/\" rel=\"category tag\">Smart &amp; Big Data Integration<\/a>","author_info_v2":{"name":"Werner D\u00e4hn, rtdi.io","url":"https:\/\/e3mag.com\/es\/author\/werner-daehn\/"},"comments_num_v2":"0 comentarios","_links":{"self":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/62135","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/users\/1891"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/comments?post=62135"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/posts\/62135\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media\/62136"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/media?parent=62135"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/categories?post=62135"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/tags?post=62135"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/es\/wp-json\/wp\/v2\/coauthors?post=62135"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}