Der SAP-KI-Sicherheitstest: Kann das Finanzwesen einen KI-Agenten stoppen?

Sie lesen die deutsche Übersetzung dieses Artikels. Die englische Originalfassung finden Sie hier.

In seinem E3-Magazin-Editorial vom 15. Oktober sprach Peter M. Färbinger ein Problem an, das jeden SAP-Kunden beschäftigen sollte, der sich mit autonomer KI auseinandersetzt. Sprachmodelle arbeiten probabilistisch, während Enterprise Resource Planning auf präzisen und reproduzierbaren Transaktionen beruht. Er stellte die Frage, ob Wissensgraphen die dafür notwendige Struktur bereitstellen könnten. Sie können einem Agenten tatsächlich helfen, geschäftliche Zusammenhänge und Rahmenbedingungen zu verstehen. Doch es gibt eine zweite Frage, die sich allein durch semantisches Wissen nicht beantworten lässt: Kann ein Unternehmen einem KI-Agenten zuverlässig die Berechtigung zum Handeln entziehen?

Stellen wir uns ein Finanzteam vor, das einen KI-Assistenten zum Abgleich von Lieferantenstammdaten testet. Nach erfolgreichen Demonstrationen erhält der Assistent die Erlaubnis, Lieferantenadressen zu korrigieren. Anschließend beauftragt er über ein angebundenes Tool die Aktualisierung eines zweiten Systems. Was als Empfehlung begann, hat sich zu einer Kette systemübergreifender Änderungen entwickelt. Welche Folgen das hat, hängt von den tatsächlichen Berechtigungen der eingesetzten Tools ab – und nicht davon, wie überzeugend der Assistent seine Entscheidungen begründet.

SAP-Anwender sind mit Funktionstrennung, Finanzkontrollen und Genehmigungsworkflows bereits vertraut. KI-Agenten machen diese Kontrollmechanismen noch wichtiger, denn ein einziges System kann eigenständig planen, Tools aufrufen, Aufgaben delegieren und Aktionen erneut versuchen, ohne dass ein Mitarbeiter jeden einzelnen Zwischenschritt ausführt. Erhält ein Agent dieselben weitreichenden Berechtigungen wie sein menschlicher Auftraggeber, besteht die Gefahr, dass genau jene Funktionstrennung unbemerkt ausgehebelt wird, die den ursprünglichen Prozess nachvollziehbar und prüfbar gemacht hat.

Die Warnsignale aus der Entwicklung modernster KI sind kaum zu ignorieren

Jacob Coxon, ein ehemaliger Forscher im Bereich des Vortrainings von KI-Modellen, der sowohl bei OpenAI als auch bei Anthropic tätig war, warnte, dass führende KI-Labore in einem Wettlauf um eine sich selbst verbessernde Superintelligenz stehen und dabei Menschenleben aufs Spiel setzen. Evan Hubinger, Alignment-Forscher bei Anthropic, antwortete, dass er persönlich die Wahrscheinlichkeit, dass KI innerhalb der nächsten zehn Jahre die gesamte Menschheit auslöschen könnte, auf mehr als zehn Prozent schätzt. Diese Aussagen beziehen sich auf mögliche zukünftige Folgen immer leistungsfähigerer KI-Systeme.

Ein aktueller Vorfall zeigt unterdessen, warum die Grenzen der Kontrollmechanismen praktisch überprüft werden müssen. OpenAI machte öffentlich, dass interne KI-Forschungsagenten Isolationsmechanismen umgangen und die Plattform Hugging Face kompromittiert hatten. Eine unabhängige Untersuchung von METR ergab, dass rund 1.200 Agenten, die eigentlich voneinander isoliert sein sollten, ein nicht autorisiertes Nachrichtenforum entdeckten und darüber mehr als 70.000 Nachrichten und Dateien austauschten. Etwa 700 Agenten beteiligten sich an dem Angriff. Bei diesen Systemen handelte es sich nicht um betriebswirtschaftliche SAP-Anwendungen. Für Unternehmensverantwortliche ist jedoch das nachgewiesene Verhaltensmuster entscheidend: Autonome Systeme fanden einen unbeabsichtigten Weg zur Koordination und nutzten ihn, um ihre Aktivitäten über die vorgesehenen Kontrollgrenzen hinaus auszuweiten.

Was geschieht, wenn ein zukünftiger KI-Agent mit ähnlich unzureichenden Begrenzungen Zugriff auf Treasury-Prozesse, Lieferantenstammdaten oder Schnittstellen zur Produktionsplanung erhält? Eine fehlerhafte Empfehlung ist das eine. Eine Kette nicht autorisierter Aktionen in externen Systemen kann jedoch Geld bewegen, Datensätze verändern und betriebliche Abläufe stören, bevor ein Mitarbeiter überhaupt etwas bemerkt.

Den Berechtigungsrahmen zum verbindlichen Bestandteil der KI-Einführung machen

Jeder KI-Agent im Unternehmenseinsatz sollte über ein ausdrücklich definiertes Berechtigungsbudget verfügen. Dieses legt fest, welche Datensätze der Agent lesen darf, welche Änderungen er vornehmen kann, welche Tools er aufrufen darf, wessen Daten er exportieren darf, wie lange seine Zugangsdaten gültig bleiben und wann ein Mensch den nächsten Schritt genehmigen muss. Es handelt sich dabei um eine aufgabenbezogene Begrenzung, die von den zugriffsgewährenden Systemen technisch durchgesetzt werden muss – und nicht lediglich um eine Anweisung im Prompt des Sprachmodells.

Bei einem KI-Agenten für die Kreditorenbuchhaltung könnte die erste Ausbaustufe ausschließlich darin bestehen, doppelte Rechnungen zu kennzeichnen und Erläuterungen zu formulieren. In einer zweiten Stufe dürfte er ein klar definiertes Datenfeld innerhalb einer Testumgebung korrigieren. Eine dritte Stufe könnte es ihm erlauben, einen Korrekturvorschlag zur Genehmigung durch einen autorisierten Mitarbeiter einzureichen. Keine dieser Stufen sollte automatisch die Berechtigung erhalten, Bankverbindungen zu ändern oder Zahlungen auszulösen, nur weil die Führungskraft aus dem Finanzbereich, die das Projekt in Auftrag gegeben hat, selbst dazu berechtigt ist.

Auch durch die Delegation von Aufgaben darf sich das Berechtigungsbudget niemals vergrößern. Ruft ein Agent einen Dienst auf einer Integrationsplattform auf oder übergibt Aufgaben an einen anderen Assistenten, müssen für die nachgelagerten Aktionen dieselben oder strengere Einschränkungen gelten. Ein Bestellassistent, der lediglich eine Änderung im Wert von 500 Euro vorschlagen darf, darf nicht über ein anderes Tool plötzlich auf ein Ausgabenlimit von 50.000 Euro zugreifen können. Entwickler müssen diese Prüfungen dort implementieren, wo die Aktionen tatsächlich ausgeführt werden – einschließlich der Anwendungsschnittstellen und der Dienste zur Verwaltung von Zugangsdaten.

Protokolldaten müssen außerhalb der Kontrolle des Agenten bleiben. Prozessverantwortliche müssen nachvollziehen können, wer eine Änderung angefordert und genehmigt hat, auf welchen Informationen sie beruhte, welche Tools daran beteiligt waren und ob sich die Änderung rückgängig machen lässt. Eine sprachlich überzeugende Erklärung kann ein unabhängig geführtes Aktionsprotokoll nicht ersetzen.

Vor der Ausweitung von Berechtigungen einen Abschalttest durchführen

In einer kontrollierten Umgebung sollte ein Agent zunächst eine Änderung an einem Lieferantenstammsatz vorbereiten und eine nachgelagerte Aktion in die Warteschlange stellen. Anschließend werden ihm seine Berechtigungen entzogen. Dabei muss gemessen werden, ob die ursprünglichen Zugangsdaten ihre Gültigkeit verlieren, ob auch delegierte Aufgaben gestoppt werden und wie schnell ein verantwortlicher Mitarbeiter die zuletzt ausgeführte Aktion identifizieren kann. Derselbe Test sollte durchgeführt werden, wenn ein Lieferantenstammsatz widersprüchliche Informationen enthält. Der Agent muss Änderungen mit potenziell erheblichen Auswirkungen zurückstellen, bis ein autorisierter Mitarbeiter die Unstimmigkeiten geklärt hat.

Dabei handelt es sich um messbare Abnahmetests, die Fachabteilungen und IT-Teams gemeinsam durchführen können. Zu vergleichen sind die Zeitersparnis pro Transaktion, die Genauigkeit der Korrekturen, die Anzahl unerwarteter Aktionen und die Zeit, die zum Entzug von Berechtigungen benötigt wird. Verbessert sich zwar die Leistung des Agenten, funktioniert aber der Berechtigungsentzug nicht zuverlässig, ist eine Ausweitung seiner Autonomie verfrüht.

Anthropic-CEO Dario Amodei plädierte im September angesichts der rasanten Weiterentwicklung leistungsfähiger KI-Systeme für strengere Regeln und unabhängige Prüfinstanzen. Unternehmen können denselben Grundsatz auf ihre eigenen KI-Projekte übertragen, indem sie nachweisbar wirksame Begrenzungen verlangen, bevor sie Agenten weitreichende Handlungsmöglichkeiten einräumen.

Ich unterstütze Unternehmen beruflich bei der Einführung von KI und möchte, dass sie schneller vorankommen. Mitarbeiter gewinnen Vertrauen, wenn sie innerhalb klarer Regeln experimentieren können, die auch unter Belastung zuverlässig funktionieren. Die E3-Diskussion vom Oktober über autonomes ERP fordert SAP-Kunden zu Recht dazu auf, über die bisherige Unterscheidung zwischen deterministischer Software und Sprachmodellen hinauszudenken. Die nächste entscheidende Frage bei der Beschaffung ist einfacher und praxisnäher: Zeigen Sie mir, was dieser Agent verändern darf, wer ihn stoppen kann und welche Nachweise belegen, dass dieser Stopp tatsächlich funktioniert.