{"id":143656,"date":"2024-07-23T07:00:00","date_gmt":"2024-07-23T05:00:00","guid":{"rendered":"http:\/\/e3mag.com\/?p=143656"},"modified":"2024-07-23T16:27:49","modified_gmt":"2024-07-23T14:27:49","slug":"enterprise-ki-chatbots-mit-open-source-software","status":"publish","type":"post","link":"https:\/\/e3mag.com\/de\/enterprise-ki-chatbots-mit-open-source-software\/","title":{"rendered":"Enterprise-KI-Chatbots mit Open-Source-Software"},"content":{"rendered":"\n

Die Gefahr von Closed Source LLMs: Bis heute ist nicht publiziert worden, wie die Sprachmodelle von gro\u00dfen AI-Chat-Hostern trainiert wurden. Ganz im Gegenteil: Immer wieder kommen Meldungen auf, Teile der Trainingsdaten seien urheberrechtlich gesch\u00fctzt. Solange das Trainingsverfahren nicht offengelegt wird, besteht auch immer die Gefahr, dass jede Nachricht, jede Webseite, jeder Text und damit potenziell auch interne Firmendaten f\u00fcr das Training genutzt werden. Denn eins ist auch klar: Entwickler von Sprachmodellen leben von den Daten und m\u00fcssen Sprachmodelle permanent weitertrainieren. Woher kann man neue Daten nehmen, wenn bereits das gesamte freie Internet genutzt wurde?<\/p>\n\n\n\n

Die bahnbrechende Eigenschaft von gro\u00dfen AI-Chat-Hostern ist nicht etwa, dass im Hintergrund eine Art Superintelligenz werkelt, die den Menschen ersetzen kann. Da es sich nur um Wahrscheinlichkeitsrechnung handelt, ist ein Chatbot kein intelligentes Wesen. Auch wenn das Konstrukt in G\u00e4nze hochkomplex ist, ist das Erfolg versprechende Element simpel: Sprache. Large-Language-Modelle erm\u00f6glichen die Interaktion mit Computersystemen durch nat\u00fcrliche, menschliche Sprache. Die Schnittstelle wird noch weiter vereinfacht: ein Chat. Kommunikation mit einem Computer, als w\u00fcrde man einem Freund via Messenger schreiben.<\/p>

\"\"<\/a><\/div><\/div>\n\n\n\n

LLM und eigene Daten<\/h2>\n\n\n\n

Die Unterst\u00fctzungsm\u00f6glichkeiten sind gewaltig: ein Trainingsplan zur erfolgreichen Absolvierung eines Triathlons? Kein Problem. Qu\u00e4lend lange Mails oder Vertr\u00e4ge auf die Kernelemente zusammenfassen? In Sekunden erledigt. Analyse von Auff\u00e4lligkeiten in gro\u00dfen SAP-Log-Dateien? Sofort abgeschlossen. Verkn\u00fcpft man ein LLM nun noch mit eigenen Daten, ist das Potenzial schier unendlich. Man stelle sich nur mal vor, was alles m\u00f6glich ist, wenn man sein ganzes Ticketsystem als Wissensdatenbank mit nat\u00fcrlicher Sprache befragen kann. Ihre Daten sind Ihre St\u00e4rke.<\/p>\n\n\n\n

LLMs sch\u00f6pfen das gr\u00f6\u00dftm\u00f6gliche Potenzial aus dieser St\u00e4rke aus. LLMs machen Ihre Daten lebendig. Nachdem zum Beispiel OpenAI keinen Einblick gew\u00e4hrt, kann man sich der Sicherheit der eigenen Daten hinter den verschlossenen T\u00fcren nie sicher sein. Doch genau diese geschlossene T\u00fcr ist es, die eine andere \u00f6ffnet: Open Source. <\/p>\n\n\n\n

Open Source liefert den Schl\u00fcssel: Jedes Detail kann im Programmcode nachverfolgt, jede Anpassung gepr\u00fcft werden. Dadurch wissen Sie, was mit Ihren Daten passiert: nichts. Denn Sie senden keine Daten an irgendeine Firma, ganz im Gegenteil, Sie holen sich das Produkt ins eigene Haus. Es ist in etwa so, als k\u00f6nnten Sie ChatGPT als fertiges Produkt kaufen und in Ihr Rechenzentrum stellen. Sie haben den Schl\u00fcssel und damit die volle Kontrolle, wie und ob Ihre Daten mit KI verkn\u00fcpft werden. Zusammengefasst ist der Vorteil von Open Source: Transparenz.<\/p>\n\n\n\n

Inference Engine<\/h2>\n\n\n\n

Zuerst wird auf starker Hardware eine Inference En\u00adgine installiert, die den Betrieb von Sprachmodellen erm\u00f6glicht. Es fehlt noch das passende LLM, welches man auf Huggingface f\u00fcr jeden Einsatzzweck finden kann. Um dann auf Ihre Daten zuzugreifen, bieten sich zwei M\u00f6glichkeiten: Finetuning und Retrieval Augmented Generation (RAG). W\u00e4hrend Finetuning zu viel Leistung und Kosten ben\u00f6tigt, bietet RAG eine g\u00fcnstige Alternative. <\/p>\n\n\n\n

Hierbei ver\u00e4ndert man die Daten des LLM nicht, sondern liefert einen Kontext aus dem eigenen Datenbestand mit. So, als w\u00fcrden Sie dem LLM sagen: Hier ist mein Ticket 1234, fasse mir den Inhalt zusammen. Dadurch, dass der Kontext stets mitgegeben wird, ergibt sich ein weiterer Vorteil: Im Gegensatz zu den Online-Anbietern ist der Datensatz immer aktuell.<\/p>\n\n\n\n

Mit RAG und einem quelloffenen LLM haben Sie alle Voraussetzungen in der Hand, um eigene Daten mit der Technologie zu verkn\u00fcpfen. Die Antwort auf die Frage, wie man mit dem technologischen Wandel Schritt halten kann und sich dennoch keine Sorgen um die Sicherheit der eigenen Daten machen muss, ist letztendlich einfach: Open Source.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Zum Partner-Eintrag:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n","protected":false},"excerpt":{"rendered":"

Wer ChatGPT nutzt, gef\u00e4hrdet seine Daten. Doch um mit dem technischen Wandel mithalten zu k\u00f6nnen, darf KI nicht ignoriert werden. Wie also kann man die Sicherheit interner Daten mit KI vereinen? Die Antwort: Open Source!<\/p>\n","protected":false},"author":5567,"featured_media":132836,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"pmpro_default_level":"","footnotes":""},"categories":[7,43978,22],"tags":[],"coauthors":[43988,43989],"class_list":["post-143656","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-meinung","category-mag-24-07-08","category-open-source","pmpro-has-access"],"acf":[],"featured_image_urls_v2":{"full":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"thumbnail":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-150x150.jpg",150,150,true],"medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-400x180.jpg",400,180,true],"medium_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-768x346.jpg",768,346,true],"large":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"image-100":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-100x45.jpg",100,45,true],"image-480":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-480x216.jpg",480,216,true],"image-640":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-640x288.jpg",640,288,true],"image-720":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-720x324.jpg",720,324,true],"image-960":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"image-1440":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"image-1920":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"1536x1536":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"2048x2048":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-18x8.jpg",18,8,true],"bricks_large_16x9":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"bricks_large":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source.jpg",1000,450,false],"bricks_medium":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-600x270.jpg",600,270,true],"bricks_medium_square":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-600x450.jpg",600,450,true],"profile_24":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3mag.com\/wp-content\/uploads\/2023\/09\/WEB-open-Source-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

Wer ChatGPT nutzt, gef\u00e4hrdet seine Daten. Doch um mit dem technischen Wandel mithalten zu k\u00f6nnen, darf KI nicht ignoriert werden. Wie also kann man die Sicherheit interner Daten mit KI vereinen? Die Antwort: Open Source!<\/p>\n","category_list_v2":"Die Meinung der SAP-Community<\/a>, MAG 24-07 \/ 08<\/a>, Open Source Kolumne<\/a>","author_info_v2":{"name":"Maximilian Rehms, FIS-ASP","url":"https:\/\/e3mag.com\/de\/author\/maximilian-rehms\/"},"comments_num_v2":"0 comments","_links":{"self":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/143656","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/users\/5567"}],"replies":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/comments?post=143656"}],"version-history":[{"count":5,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/143656\/revisions"}],"predecessor-version":[{"id":143825,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/posts\/143656\/revisions\/143825"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media\/132836"}],"wp:attachment":[{"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/media?parent=143656"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/categories?post=143656"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/tags?post=143656"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3mag.com\/de\/wp-json\/wp\/v2\/coauthors?post=143656"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}