{"id":62752,"date":"2019-10-31T11:00:00","date_gmt":"2019-10-31T10:00:00","guid":{"rendered":"http:\/\/e3mag.com\/?p=62752"},"modified":"2020-02-08T00:22:23","modified_gmt":"2020-02-07T23:22:23","slug":"was-ist-big-data","status":"publish","type":"post","link":"https:\/\/e3mag.com\/de\/was-ist-big-data\/","title":{"rendered":"Was ist Big Data?"},"content":{"rendered":"

Die gr\u00f6\u00dfte H\u00fcrde zu Beginn ist der Begriff Big Data selbst. Die direkte \u00dcbersetzung Massendaten trifft leider nur einen Aspekt. Alle normalen Daten aus dem ERP-System und anderen Datenbanken sind auch Massendaten.<\/p>\n

Bez\u00fcglich des Volumens muss also von Mengen gesprochen werden, die zu gro\u00df f\u00fcr Datenbanken sind \u2013 zu gro\u00df im absoluten Sinn oder im Sinn von Kosten und Nutzen. Ein anderer Aspekt ist der Grad an Struktur in den Daten.<\/p>

\"\"<\/a><\/div><\/div>\n

Das ERP-System beinhaltet zu 99 Prozent gut strukturierte Daten. Die ein Prozent sind Freitexte wie eine Liefernotiz. Bei Big Data ist es das andere Extrem und die spannenden Informationen stecken in den unstrukturierten Datenbereichen. Wann und wo ein Foto aufgenommen wurde, ist interessant, aber was das Bild zeigt, ungleich wichtiger.<\/p>\n

Damit einher geht auch die Art der Datenaufbereitung. Ist es bei Datenbanken eine Abfrage wie \u201eSumme Umsatz pro Monat\u201c, redet man bei obigen Beispielen pl\u00f6tzlich von Bildanalyse und Textanalyse.<\/p>\n

Die wichtigste Definition von Big Data ist allerdings \u201ealle Daten, die man heute nicht zur Steigerung des Unternehmensgewinnes heranzieht\u201c. Hier ist Kreativit\u00e4t angesagt.<\/p>\n

Eines meiner vergangenen Projekte hat die Auslastung der Server im Rechenzentrum mitgeschrieben \u2013 mit dem Ziel, die Anzahl der Server zu reduzieren. Um das zu verdeutlichen, m\u00f6chte ich ein Beispiel bringen.<\/p>\n

Es sollen die Verk\u00e4ufe mit der Information verkn\u00fcpft werden, wie intensiv sich Kunden das jeweilige Produkt auf der Webseite angesehen haben. Beispielsweise wird ein Produkt in den Medien beworben. Wird diese Werbung wahrgenommen?<\/p>\n

Wenn ja, m\u00fcssten erh\u00f6hte Zugriffszahlen auf den zugeh\u00f6rigen Produktseiten zu sehen sein. Lesen Interessenten die Produktseite kurz, sind sofort \u00fcberzeugt und kaufen danach? Oder lesen sie die technischen Daten sehr genau und kaufen dann doch nicht?<\/p>\n

Hat man eine Idee, welche Daten mit Big Data analysiert werden sollen, stellt sich die Frage nach einer zukunftstr\u00e4chtigen Architektur. Gerade im Big-Data-Bereich werden st\u00e4ndig neue Produkte entwickelt, die Altes ersetzen. Vor ein paar Jahren war Map Reduce auf Hadoop das Nonplusultra, dann kam Apache Spark, das bessere Performance und gr\u00f6\u00dfere M\u00e4chtigkeit hat.<\/p>\n

Lange Zeit war Apache Hive der Weg, heute sind es Parquet Files. In so einem dynamischen Umfeld m\u00f6chte ich nicht viel Geld f\u00fcr eine potenziell kurzfristig verwendete L\u00f6sung ausgeben und auch die Offenheit haben, jederzeit auf etwas Neues umschwenken zu k\u00f6nnen.<\/p>\n

Apache Spark passt zu diesem Wunsch nach einer m\u00e4chtigen, aber gleichzeitig offenen L\u00f6sung und wird deswegen in fast jedem Projekt weltweit eingesetzt.<\/p>\n

Die Installation ist einfach, komplexe Transformationen sind mit weniger Codezeilen m\u00f6glich und die Software kostet nichts. Die gro\u00dfen Kosten w\u00fcrden beim Aufbau eines BI-Systems daf\u00fcr entstehen.<\/p>\n

Daher f\u00fcge ich die mit Spark berechneten Kennzahlen stattdessen zum existierenden Data Warehouse hinzu und erm\u00f6gliche den Benutzern, mit den altbekannten Werkzeugen neue Analysen durchzuf\u00fchren \u2013 etwa f\u00fcr ein Produkt jetzt den Umsatz zus\u00e4tzlich mit Lesedauer und Seitenzugriffen zu korrelieren.<\/p>\n

Fazit und Zukunft: Bis vor Kurzem waren die Speicherung und die Verarbeitung von so sekund\u00e4ren Daten preislich nicht attraktiv. Das Volumen der Daten war zu gro\u00df, die Informationsdichte zu gering und der einzige Weg, Daten effektiv zu verarbeiten, war mit DB-nahen Werkzeugen.<\/p>\n

Diese Argumente gelten heute nicht mehr. Mit dem Apache Hadoop Filesystem (HDFS) k\u00f6nnen aus billigen PC-Komponenten gro\u00dfe Filesysteme geformt werden, anstatt ein teures Disk-Array zu kaufen.<\/p>\n

Apache Spark kann diese gro\u00dfen Datenmengen verarbeiten, mit den zugeh\u00f6rigen komplexen Algorithmen inklusive statistischer Methoden und Machine Learning.<\/p>\n

Und die L\u00f6sung: Die Werkzeuge aus dem Data-\u00adWarehouse-Bereich, inklusive die von SAP, haben sich an diese Situation angepasst und bieten direkten Zugriff auf Hadoop-Files oder schicken Transformationsaufgaben an einen angeschlossenen Spark Cluster. Eine dieser verkannten Perlen ist der SAP Hana Spark Connector.<\/p>\n","protected":false},"excerpt":{"rendered":"

Viele Firmen stehen in Bezug auf Big Data am Anfang. Man hat erste Ideen. Das Potenzial wird ausgelotet. Auch SAP hat unterschiedliche Herangehensweisen an das Thema, je nachdem mit welcher Abteilung man spricht.<\/p>\n","protected":false},"author":1891,"featured_media":62136,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[36004,7,36593],"tags":[210,927,73,798],"coauthors":[36006],"class_list":["post-62752","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-smart-big-data-integration","category-meinung","category-mag-1910","tag-big-data","tag-data-warehouse","tag-erp","tag-hadoop","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",400,180,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

Viele Firmen stehen in Bezug auf Big Data am Anfang. Man hat erste Ideen. Das Potenzial wird ausgelotet. Auch SAP hat unterschiedliche Herangehensweisen an das Thema, je nachdem mit welcher Abteilung man spricht.<\/p>\n","category_list_v2":"Smart & Big Data Integration<\/a>, Die Meinung der SAP-Community<\/a>, MAG 19-10<\/a>","author_info_v2":{"name":"Werner D\u00e4hn, rtdi.io","url":"https:\/\/e3mag.com\/de\/author\/werner-daehn\/"},"comments_num_v2":"0 comments","_links":{"self":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/62752","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/users\/1891"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/comments?post=62752"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/62752\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media\/62136"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media?parent=62752"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/categories?post=62752"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/tags?post=62752"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/coauthors?post=62752"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}