Information und Bildungsarbeit von und für die SAP-Community

Responsible AI im Betrieb: Vertrauen in intelligente Systeme aufbauen

Auszug aus „Intelligentes IT-Servicemanagement von ServiceNow: Ein umfassender Leitfaden zur Implementierung der KI-Funktionen der Plattform für IT-Manager“.
Saaniya Chugh, ServiceNow
24. Oktober 2025
avatar

Künstliche Intelligenz ist nicht mehr auf Forschungslabore oder futuristische Vorhersagen beschränkt. Sie ist mittlerweile fest in den Unternehmensbetrieb integriert. Im IT-Servicemanagement unterstützt KI alle Bereiche: von der vorausschauenden Ticketweiterleitung bis hin zu selbstheilenden Systemen, von Chatbots, die täglich Tausende von Anfragen bearbeiten, bis hin zu autonomen Agenten, die Entscheidungen in Echtzeit treffen. Diese Funktionen sorgen für Geschwindigkeit und Skalierbarkeit, werfen jedoch auch eine wichtige Frage auf: Wie können wir sicherstellen, dass die Automatisierung den Menschen verantwortungsbewusst dient?

Dies ist keine abstrakte Frage. In einer Implementierung wurde ein Vorhersagemodell trainiert, um Serviceanfragen auf der Grundlage historischer Lösungszeiten zu priorisieren. Oberflächlich betrachtet funktionierte es wie vorgesehen. Doch schon bald wurden Anfragen des Barrierefreiheitsteams konsequent zurückgestellt. Das Problem lag nicht in der Logik des Modells, sondern in den Daten, die es aufgenommen hatte – Daten, die durch jahrelange Vernachlässigung geprägt waren. Die Voreingenommenheit der Vergangenheit wurde in die Zukunft automatisiert.

Ein weiteres viel diskutiertes Beispiel stammt aus einem anderen Bereich als ITSM. Im Jahr 2018 gab ein großes Technologieunternehmen sein KI-Rekrutierungstool auf, nachdem es festgestellt hatte, dass es männliche Kandidaten für Ingenieurspositionen konsequent bevorzugte. Das Modell war auf der Grundlage von zehn Jahren Einstellungsdaten aus einer von Männern dominierten Branche trainiert worden. Was wie ein effizienter Auswahlprozess erschien, entpuppte sich als strukturelle Voreingenommenheit, die stillschweigend in die Entscheidungsfindung einfloss.

Diese Fälle unterstreichen, warum Responsible AI für moderne Betriebsabläufe von zentraler Bedeutung ist. Effizienz allein reicht nicht aus, Systeme müssen auch gerecht, erklärbar und vertrauenswürdig sein. Responsible AI bietet Leitplanken, die verhindern, dass die Automatisierung bestehende Probleme verschärft, und stattdessen dafür sorgen, dass sie zu einer faireren und widerstandsfähigeren digitalen Umgebung beiträgt.

Saaniya Chugh mit ihrem Buchumschlag.

Responsible AI in Betriebsabläufen basiert auf mehreren miteinander verbundenen Prinzipien. Fairness ist der Ausgangspunkt. Da KI aus den ihr zur Verfügung gestellten Daten lernt, spiegelt sie unweigerlich versteckte Ungleichheiten wider: verzögerte Reaktionen auf bestimmte Teams, Vernachlässigung bestimmter Anwendungen oder kulturelle Unterschiede in der Art und Weise, wie Probleme protokolliert wurden. Bleiben diese Muster unkontrolliert, benachteiligen sie ganze Gruppen. Verantwortungsbewusste Rahmenwerke wirken dem entgegen, indem sie regelmäßige Überprüfungen auf Voreingenommenheit, die Verwendung repräsentativer Trainingsdaten und kontinuierliche Nachschulungen vorschreiben, damit sich die Modelle im Einklang mit den Werten der Organisation weiterentwickeln, anstatt veraltete Praktiken fortzuführen.

Transparenz ist ebenso wichtig. In Umgebungen mit hohem Risiko können Entscheidungen nicht aus einer Black Box hervorgehen. Sowohl Führungskräfte als auch Endnutzer müssen nachvollziehen können, warum ein KI-System eine bestimmte Vorgehensweise empfohlen hat. Wenn ein Modell empfiehlt, ein Änderungsfenster vorzeitig zu schließen, müssen die Beteiligten verstehen, ob diese Entscheidung aufgrund des Vorfallvolumens, historischer Muster oder der Erkennung von Anomalien getroffen wurde. Funktionen wie Modell-Einblicke helfen dabei, diese Faktoren aufzudecken und KI von einem mysteriösen Orakel zu einem vertrauenswürdigen Partner zu machen.

Auch menschliches Urteilsvermögen bleibt unverzichtbar. Bei verantwortungsvoller KI geht es nicht darum, Entscheidungsträger zu ersetzen, sondern sie zu unterstützen. Konfidenzschwellen, Eskalationsregeln und Übersteuerungsmechanismen stellen sicher, dass Menschen eingreifen können, wenn Unklarheiten oder Risiken hoch sind. Ein Modell zur Genehmigung von Änderungen kann zwar empfehlen, fortzufahren, erfordert aber dennoch eine menschliche Unterschrift, wenn die Konfidenz gering ist. Dieses Gleichgewicht ermöglicht es Unternehmen, ihre Effizienz zu bewahren, ohne die vollständige Kontrolle an die Automatisierung abzugeben.

Schließlich bilden Sicherheit und Compliance das Rückgrat einer verantwortungsvollen KI. KI-Systeme verbrauchen und generieren enorme Datenmengen, darunter Protokolle, Ausgaben und Entscheidungsaufzeichnungen. Alle diese Daten stellen eine potenzielle Schwachstelle dar, wenn sie nicht gesichert sind. Verschlüsselung, Zugriffskontrollen und sichere Übertragungsprotokolle sind daher unerlässlich. Die Compliance fügt eine weitere Ebene hinzu: Vorschriften wie das EU-KI-Gesetz, die DSGVO, HIPAA und CCPA behandeln viele Formen der automatisierten Entscheidungsfindung als risikoreich, insbesondere wenn sie die Rechte der Nutzer oder den Zugang zu Diensten beeinträchtigen. Die Einbettung der Überprüfbarkeit in die täglichen Arbeitsabläufe schützt nicht nur die Daten, sondern stärkt auch das Vertrauen der Öffentlichkeit.

avatar
Saaniya Chugh, ServiceNow

Senior Technical Consultant bei ServiceNow.


Schreibe einen Kommentar

Die Arbeit an der SAP-Basis ist entscheidend für die erfolgreiche S/4-Conversion. 

Damit bekommt das sogenannte Competence Center bei den SAP-Bestandskunden strategische Bedeutung. Unhabhängig vom Betriebsmodell eines S/4 Hana sind Themen wie Automatisierung, Monitoring, Security, Application Lifecycle Management und Datenmanagement die Basis für den operativen S/4-Betrieb.

Zum zweiten Mal bereits veranstaltet das E3-Magazin in Salzburg einen Summit für die SAP-Community, um sich über alle Aspekte der S/4-Hana-Basisarbeit umfassend zu informieren.

Veranstaltungsort

FourSide Hotel Salzburg,
Trademark Collection by Wyndham
Am Messezentrum 2, 5020 Salzburg, Österreich
+43-66-24355460

Veranstaltungsdatum

Mittwoch, 10. Juni, und
Donnerstag, 11. Juni 2026

Early-Bird-Ticket

Reguläres Ticket

Abonnenten des E3-Magazins Ticket

ermäßigt mit Promocode CCAbo26

Studierende*

ermäßigt mit Promocode CCStud26.
Studiennachweis bitte per mail an office@b4bmedia.net senden.
*Die ersten 10 Tickets sind für Studierende kostenfrei. Versuchen Sie Ihr Glück! 🍀
EUR 390 exkl. USt.
verfügbar bis 30. November 2025
EUR 590 exkl. USt.
EUR 390 exkl. USt.
EUR 290 exkl. USt.

Veranstaltungsort

Hotel Hilton Heidelberg
Kurfürstenanlage 1
D-69115 Heidelberg

Veranstaltungsdatum

Mittwoch, 22. April und
Donnerstag, 23. April 2026

Tickets

Early-Bird-Ticket
Reguläres Ticket
EUR 390 exkl. USt.
verfügbar bis 30.11.2025
EUR 590 exkl. USt
Abonnenten des E3-Magazins
ermäßigt mit Promocode STAbo26
EUR 390 exkl. USt
Studierende*
ermäßigt mit Promocode STStud26.
Studiennachweis bitte per mail an office@b4bmedia.net senden.
EUR 290 exkl. USt
*Die ersten 10 Tickets sind für Studierende kostenfrei. Versuchen Sie Ihr Glück! 🍀
Veranstalter ist das E3-Magazin des Verlags B4Bmedia.net AG. Die Vorträge werden von einer Ausstellung ausgewählter SAP-Partner begleitet. Der Ticketpreis beinhaltet den Besuch aller Vorträge des Steampunk und BTP Summit 2026, den Besuch des Ausstellungsbereichs, die Teilnahme an der Abendveranstaltung sowie die Verpflegung während des offiziellen Programms. Das Vortragsprogramm und die Liste der Aussteller und Sponsoren (SAP-Partner) wird zeitnah auf dieser Website veröffentlicht.