Auf Open Source Washing bei KI achten

Auch SAP-Anwender kommen an KI und ML nicht vorbei. Die Technologien können in verschiedensten SAP-Bereichen eingesetzt werden, etwa als prädiktive oder analytische KI bei der Stammdatenanalyse, der Optimierung von Produktionsabläufen und Lieferketten, der Qualitätskontrolle und in generativer Form. Beim KI-Einsatz in unternehmenskritischen Bereichen wie SAP-Umgebungen muss immer ein hohes Maß an Nachvollziehbarkeit und Erklärbarkeit gewährleistet sein. Unternehmen wollen keine Blackbox bei Algorithmen, Trainingsdaten oder Modellen, sondern eine KI, die auch rechtliche wie ethische Grundsätze beachtet.

Transparenz durch Open Source

Bei der Umsetzung zeigt sich, welchen Wert bewährte Open-Source-Strategien und -Technologien beitragen. Sie stehen wie in der Softwareentwicklung für Transparenz. Allerdings besteht hier die Gefahr des Open Source Washing, wie ein Vergleich der Kernelemente von Open-Source-Software und Open-Source-LLMs zeigt. Open-Source-Software zeichnet sich aus durch transparente, nachvollziehbare Algorithmen, eine einsehbare Fehlerbehandlung und die Möglichkeit, die Weiterentwicklung unter Mitwirkung der Community voranzutreiben. Im Gegensatz dazu viele der Open-Source-LLMs mit zwar meist einer freien Verfügbarkeit, jedoch kaum Einblick in Aspekte wie Trainingsdaten, Gewichtungen, modellinterne Leitplanken oder eine belastbare Roadmap. Überraschungen sind an der Tagesordnung.

Aus Unternehmenssicht sind Nachvollziehbarkeit und Datengrundlage fundamental, schon aus Haftungs- oder Compliance-­Gründen. Es stellen sich die Fragen, ob und welches Foundation-Modell monolithischer Entwicklung zum Einsatz kommt, wie man den Einschränkungen und Risiken begegnen kann und welcher Aufwand für Betrieb, Finetuning und Monitoring betrieben werden muss. Kompakte und domainspezifische Modelle für einen SAP-Anwender sind hier eine interessante Option, da sie für einen definierten Anwendungs­bereich einfacher und schneller trainiert sowie kontrollierter betrieben und integriert werden können.

Beim Einsatz generischer LLMs, die einen unterschiedlichen Grad an Offenheit in Bezug auf Pretraining-Daten und Nutzungsbeschränkungen bieten, können diese Modelle neuerdings nach einem anderen Verfahren für einen bestimmten Geschäftszweck erweitert werden. Hierzu haben Red Hat und IBM das Community-Projekt InstructLab ins Leben gerufen.

Es benötigt weniger Daten und Rechenressourcen für das Retraining eines Modells. Anwender und auf Wunsch auch die Community können die Modelle um „Wissen“ und „Fähigkeiten“ durch Upstream-Beiträge kontinuierlich verbessern – nach echten Open-Source-­Prinzipien, ohne dabei Tausende neue Modellvarianten zu erzeugen. So ist es möglich, durch die Anwendung der RAG-Technik auf ein mit InstructLab abgestimmtes Modell einen RAG-Prozess noch zu verstärken.

Flexible und hybride MLOps-Plattformen

Die genutzte Plattform ist dabei immer ein wichtiger Bestandteil der KI-Umgebung. Statt vieler isolierter, oft nicht skalierbarer Sandbox-Umgebungen erwarten SAP-Anwender eine flexible und hybride MLOps-­Plattform für den Produktiveinsatz, die inzwischen etwa mit Red Hat OpenShift AI verfügbar ist. Eine solche Plattform unterstützt das Training, die Bereitstellung und einheitliche Überwachung sämtlicher KI-Anwendungen, und zwar in der Cloud, an der Edge und on-premises. KI wird auch in SAP-Umgebungen künftig eine wichtige Rolle spielen, innerhalb und außerhalb SAP, miteinander integriert und hoch skalierbar.

Aufgrund der hohen regulatorischen Anforderungen, die sich etwa aus der DSGVO oder dem AI Act der EU ergeben, ist aber eine vertrauenswürdige KI unverzichtbar. Ein Open-Source-Ansatz ist dafür die richtige Basis, denn er bietet Transparenz, Innovation und Sicherheit. Allerdings muss es echtes Open ­Source sein – auch hinsichtlich der Trainingsdaten oder KI-Modelle – und nicht nur Open Source Washing.

Zum Partnereintrag: