{"id":63660,"date":"2019-11-28T10:00:20","date_gmt":"2019-11-28T09:00:20","guid":{"rendered":"http:\/\/e3mag.com\/?p=63660"},"modified":"2020-02-07T22:14:43","modified_gmt":"2020-02-07T21:14:43","slug":"sap-big-data","status":"publish","type":"post","link":"https:\/\/e3mag.com\/de\/sap-big-data\/","title":{"rendered":"SAP Big Data \u2013 was ist Big Data?"},"content":{"rendered":"

Mit der direkten \u00dcbersetzung Massendaten trifft man nur einen Aspekt. Alle normalen Daten aus dem ERP-System und anderen Datenbanken sind auch Massendaten.<\/p>\n

Bez\u00fcglich des Volumens an Daten muss von Mengen gesprochen werden, die zu gro\u00df f\u00fcr Datenbanken sind \u2013 zu gro\u00df im absoluten Sinn oder im Sinn von Kosten\/Nutzen.<\/p>

\"Fullsize\"<\/a><\/div><\/div>\n

Der interessantere Aspekt ist der Grad an Struktur in den Daten. Das ERP-System beinhaltet zu 99 Prozent gut strukturierte Daten, etwa das Feld MATART (Material Typ) in der Tabelle MARA (Materialstamm).<\/p>\n

Das eine Prozent sind Freitexte wie eine Liefernotiz. Bei Big Data ist es das andere Extrem und die spannenden Informationen stecken in den unstrukturierten Datenbereichen. Wann und wo ein Foto aufgenommen wurde, ist interessant, aber was das Bild zeigt ungleich wichtiger.<\/p>\n

Damit einher geht auch die Art der Datenaufbereitung. Ist es bei Datenbanken eine Abfrage wie \u201eSumme Umsatz pro Monat\u201c, redet man bei obigem Beispiel pl\u00f6tzlich von Bildanalyse.<\/p>\n

Selbst bei nicht so extremen F\u00e4llen, etwa Logfiles, werden nicht einfache Summierungen und Z\u00e4hlungen vorgenommen. Datenbanken sind somit die schlechteste Wahl f\u00fcr solche Daten.<\/p>\n

Die wichtigste Definition von Big Data ist allerdings \u201ealle Daten, die man heute nicht zur Steigerung des Unternehmensgewinnes heranzieht\u201c. Hier ist Kreativit\u00e4t angesagt. Eines meiner letzten Projekte hat die Auslastung der Server im Rechenzentrum mitgeschrieben \u2013 mit dem Ziel, die Anzahl der Server zu reduzieren.<\/p>\n

Ein Beispiel: Es sollen die Verk\u00e4ufe mit der Information verkn\u00fcpft werden, wie intensiv sich Kunden das jeweilige Produkt auf der Webseite angesehen haben. Beispielsweise wird ein Produkt in den Medien beworben.<\/p>\n

Wird diese Werbung wahrgenommen? Wenn ja, m\u00fcssten erh\u00f6hte Zugriffszahlen auf den zugeh\u00f6rigen Produktseiten zu sehen sein. Lesen Interessenten die Produktseite kurz, sind sofort \u00fcberzeugt und kaufen danach?<\/p>\n

Der Webserver schreibt schon alle Seitenzugriffe in Logfiles, aber nach einer Woche werden sie gel\u00f6scht. Die Daten daf\u00fcr w\u00e4ren also vorhanden, sie werden nur noch nicht verwendet.<\/p>\n

Das Ziele ist maximale Effektivit\u00e4t und Flexibilit\u00e4t. Vor ein paar Jahren war Map Reduce auf Hadoop das Nonplusultra, dann kam Apache Spark. Es konnte mehr, bei besserer Performance und gr\u00f6\u00dferer M\u00e4chtigkeit.<\/p>\n

Lange Zeit war Apache Hive der Weg, heute sind es Parquet Files. In so einem dynamischen Umfeld m\u00f6chte ich nicht viele Ressourcen f\u00fcr eine potenziell kurzfristig verwendete L\u00f6sung ausgeben und auch die Offenheit haben, jederzeit auf etwas Neues umschwenken zu k\u00f6nnen.<\/p>\n

Aktuell ist Apache Spark so eine m\u00e4chtige, aber gleichzeitig offene L\u00f6sung. Damit werden mit einer Code-Zeile die Logfiles des Webservers in Zeilen und Spalten zerlegt. Aufw\u00e4ndiger ist, die Logik zu entwickeln, wie aus dem Verlauf der Seitenaufrufe die Lesedauer pro Seite abgeleitet werden kann.<\/p>\n

F\u00fcge ich diese und weitere Kennzahlen schlussendlich zum Data Warehouse hinzu, erm\u00f6glicht es kombinierte Analysen \u2013 etwa f\u00fcr ein Produkt die Kennzahlen Umsatz, Lesedauer und Seitenzugriffe \u00fcber den zeitlichen Verlauf zu visualisieren.<\/p>\n

Bis vor Kurzem war die Speicherung und die Verarbeitung von sekund\u00e4ren Daten preislich nicht attraktiv. Das Volumen der Daten war zu gro\u00df, die Informationsdichte zu gering und der einzige Weg, Daten effektiv zu verarbeiten, war mit datenbanknahen Werkzeugen.<\/p>\n

Mit dem Apache Hadoop Filesystem (HDFS) k\u00f6nnen aus billigen PC-Komponenten gro\u00dfe Filesysteme geformt werden, anstatt ein teures Disk-Array zu kaufen. Apache Spark kann diese gro\u00dfen Datenmengen verarbeiten, mit den zugeh\u00f6rigen komplexen Algorithmen inklusive statistischer Methoden und Machine Learning.<\/p>\n

Die Werkzeuge aus dem Data-Warehouse-Bereich, inklusive die von SAP, haben sich an diese Situation angepasst und bieten direkten Zugriff auf Hadoop Files oder schicken Transformationsaufgaben an einen angeschlossenen Spark Cluster. Eine sehr einfache M\u00f6glichkeit, um von Hana aus Daten zu lesen, ist \u00fcber den SAP Hana Spark Connector.<\/p>\n","protected":false},"excerpt":{"rendered":"

Was genau ist mit dem Begriff Big Data eigentlich gemeint? Bedeutet Big Data einfach Massendaten, also \u201eviele Daten\u201c im Data Warehouse? Oder ist Big Data ein Ersatz f\u00fcr das Data Warehouse?<\/p>\n","protected":false},"author":1891,"featured_media":62136,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[7,36983,36004],"tags":[73],"coauthors":[36006],"class_list":["post-63660","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-meinung","category-mag-1911","category-smart-big-data-integration","tag-erp","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",400,180,false],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration.jpg",600,270,false],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2019\/08\/Smart-and-Big-Data-Integration-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

Was genau ist mit dem Begriff Big Data eigentlich gemeint? Bedeutet Big Data einfach Massendaten, also \u201eviele Daten\u201c im Data Warehouse? Oder ist Big Data ein Ersatz f\u00fcr das Data Warehouse?<\/p>\n","category_list_v2":"Die Meinung der SAP-Community<\/a>, MAG 19-11<\/a>, Smart & Big Data Integration<\/a>","author_info_v2":{"name":"Werner D\u00e4hn, rtdi.io","url":"https:\/\/e3mag.com\/de\/author\/werner-daehn\/"},"comments_num_v2":"0 comments","_links":{"self":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/63660","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/users\/1891"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/comments?post=63660"}],"version-history":[{"count":0,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/63660\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media\/62136"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media?parent=63660"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/categories?post=63660"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/tags?post=63660"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/coauthors?post=63660"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}