Information et éducation par et pour la communauté SAP

Des chatbots d'IA d'entreprise avec un logiciel open source

Utiliser ChatGPT, c'est mettre ses données en danger. Mais pour suivre le rythme de l'évolution technologique, l'IA ne peut pas être ignorée. Comment donc concilier la sécurité des données internes et l'IA ? La réponse : l'open source !
Maximilian Rehms, FIS-ASP
Felix Förster, FIS-ASP
23 juillet 2024
avatar
avatar
Ce texte a été automatiquement traduit en français de l'allemand

Die Gefahr von Closed Source LLMs: Bis heute ist nicht publiziert worden, wie die Sprachmodelle von großen AI-Chat-Hostern trainiert wurden. Ganz im Gegenteil: Immer wieder kommen Meldungen auf, Teile der Trainingsdaten seien urheberrechtlich geschützt. Solange das Trainingsverfahren nicht offengelegt wird, besteht auch immer die Gefahr, dass jede Nachricht, jede Webseite, jeder Text und damit potenziell auch interne Firmendaten für das Training genutzt werden. Denn eins ist auch klar: Entwickler von Sprachmodellen leben von den Daten und müssen Sprachmodelle permanent weitertrainieren. Woher kann man neue Daten nehmen, wenn bereits das gesamte freie Internet genutzt wurde?

Die bahnbrechende Eigenschaft von großen AI-Chat-Hostern ist nicht etwa, dass im Hintergrund eine Art Superintelligenz werkelt, die den Menschen ersetzen kann. Da es sich nur um Wahrscheinlichkeitsrechnung handelt, ist ein Chatbot kein intelligentes Wesen. Auch wenn das Konstrukt in Gänze hochkomplex ist, ist das Erfolg versprechende Element simpel: Sprache. Large-Language-Modelle ermöglichen die Interaktion mit Computersystemen durch natürliche, menschliche Sprache. Die Schnittstelle wird noch weiter vereinfacht: ein Chat. Kommunikation mit einem Computer, als würde man einem Freund via Messenger schreiben.

LLM und eigene Daten

Die Unterstützungsmöglichkeiten sind gewaltig: ein Trainingsplan zur erfolgreichen Absolvierung eines Triathlons? Kein Problem. Quälend lange Mails oder Verträge auf die Kernelemente zusammenfassen? In Sekunden erledigt. Analyse von Auffälligkeiten in großen SAP-Log-Dateien? Sofort abgeschlossen. Verknüpft man ein LLM nun noch mit eigenen Daten, ist das Potenzial schier unendlich. Man stelle sich nur mal vor, was alles möglich ist, wenn man sein ganzes Ticketsystem als Wissensdatenbank mit natürlicher Sprache befragen kann. Ihre Daten sind Ihre Stärke.

LLMs schöpfen das größtmögliche Potenzial aus dieser Stärke aus. LLMs machen Ihre Daten lebendig. Nachdem zum Beispiel OpenAI keinen Einblick gewährt, kann man sich der Sicherheit der eigenen Daten hinter den verschlossenen Türen nie sicher sein. Doch genau diese geschlossene Tür ist es, die eine andere öffnet: Open Source.

Open Source liefert den Schlüssel: Jedes Detail kann im Programmcode nachverfolgt, jede Anpassung geprüft werden. Dadurch wissen Sie, was mit Ihren Daten passiert: nichts. Denn Sie senden keine Daten an irgendeine Firma, ganz im Gegenteil, Sie holen sich das Produkt ins eigene Haus. Es ist in etwa so, als könnten Sie ChatGPT als fertiges Produkt kaufen und in Ihr Rechenzentrum stellen. Sie haben den Schlüssel und damit die volle Kontrolle, wie und ob Ihre Daten mit KI verknüpft werden. Zusammengefasst ist der Vorteil von Open Source: Transparenz.

Inference Engine

Zuerst wird auf starker Hardware eine Inference En­gine installiert, die den Betrieb von Sprachmodellen ermöglicht. Es fehlt noch das passende LLM, welches man auf Huggingface für jeden Einsatzzweck finden kann. Um dann auf Ihre Daten zuzugreifen, bieten sich zwei Möglichkeiten: Finetuning und Retrieval Augmented Generation (RAG). Während Finetuning zu viel Leistung und Kosten benötigt, bietet RAG eine günstige Alternative.

Hierbei verändert man die Daten des LLM nicht, sondern liefert einen Kontext aus dem eigenen Datenbestand mit. So, als würden Sie dem LLM sagen: Hier ist mein Ticket 1234, fasse mir den Inhalt zusammen. Dadurch, dass der Kontext stets mitgegeben wird, ergibt sich ein weiterer Vorteil: Im Gegensatz zu den Online-Anbietern ist der Datensatz immer aktuell.

Mit RAG und einem quelloffenen LLM haben Sie alle Voraussetzungen in der Hand, um eigene Daten mit der Technologie zu verknüpfen. Die Antwort auf die Frage, wie man mit dem technologischen Wandel Schritt halten kann und sich dennoch keine Sorgen um die Sicherheit der eigenen Daten machen muss, ist letztendlich einfach: Open Source.


Vers l'inscription du partenaire :

avatar
Maximilian Rehms, FIS-ASP

Maximilian Rehms ist Cloud Engineer bei FIS-ASP.


avatar
Felix Förster, FIS-ASP

Felix Förster ist AI Consultant im Bereich Infrastruktur, FIS-ASP


Écrire un commentaire

Le travail sur la base SAP est essentiel pour réussir la conversion S/4. 

Ce que l'on appelle le centre de compétences prend ainsi une importance stratégique chez les clients existants de SAP. Indépendamment du modèle d'exploitation d'un S/4 Hana, les thèmes tels que Automatisation, Suivi, Sécurité, Gestion du cycle de vie des applications et Gestion des données la base de l'exploitation opérationnelle de S/4.

Pour la deuxième fois déjà, le magazine E3 organise à Salzbourg un sommet pour la communauté SAP afin de s'informer en détail sur tous les aspects du travail de base de S/4-Hana.

Lieu de la manifestation

FourSide Hôtel Salzbourg,
Trademark Collection by Wyndham
Am Messezentrum 2, 5020 Salzbourg, Autriche
+43-66-24355460

Date de l'événement

mercredi 10 juin, et
Jeudi 11 juin 2026

Billet d'entrée anticipé

Billet régulier

EUR 390 hors TVA
disponible jusqu'au 1.10.2025
EUR 590 hors TVA

Lieu de la manifestation

Hôtel Hilton Heidelberg
Kurfürstenanlage 1
D-69115 Heidelberg

Date de l'événement

mercredi 22 avril et
Jeudi 23 avril 2026

Billets

Billet régulier
EUR 590 hors TVA
Abonnés au magazine E3
à prix réduit avec le Promocode STAbo26
EUR 390 hors TVA
Étudiants*
à prix réduit avec le Promocode STStud26.
Veuillez envoyer votre certificat d'études par e-mail à office@b4bmedia.net.
EUR 290 hors TVA
*Les 10 premiers billets sont gratuits pour les étudiants. Tentez votre chance ! 🍀
L'organisateur est le magazine E3 de la maison d'édition B4Bmedia.net AG. Les conférences seront accompagnées d'une exposition de partenaires SAP sélectionnés. Le prix du billet comprend la participation à toutes les conférences du Steampunk and BTP Summit 2026, la visite de l'espace d'exposition, la participation à la soirée et les repas pendant le programme officiel. Le programme des conférences et la liste des exposants et des sponsors (partenaires SAP) seront publiés en temps utile sur ce site.