Wie kann ich kontrollieren, was ein KI-Agent im Unternehmen macht?

Jede Aktion, die ein KI-Agent durchführt, muss nachvollziehbar sein. Die Grundlage dafür ist eine umfassende Protokollierung. Ähnlich dem Logbuch eines Kapitäns oder dem Aktivitätsprotokoll in einer Software wird jeder Schritt gegen Manipulationen geschützt aufgezeichnet. So lässt sich jederzeit prüfen, welche Daten der Agent wann verarbeitet und welche Entscheidung er getroffen hat.

Diese Protokolle sind nicht nur im Fehlerfall entscheidend. Sie dienen auch der Optimierung und der Einhaltung von Compliance-Vorgaben. Ein Geschäftsführer kann sich regelmäßige Berichte erstellen lassen, die die Aktivitäten zusammenfassen — zum Beispiel die Anzahl bearbeiteter Rechnungen, die durchschnittliche Antwortzeit bei Anfragen oder eine Liste aller Vorgänge, die eine menschliche Prüfung erforderten.

Kein KI-System sollte Entscheidungen mit weitreichenden finanziellen oder rechtlichen Folgen ohne menschliche Bestätigung treffen dürfen. Ein entscheidender Kontrollmechanismus sind daher mehrstufige Freigabeprozesse. Der KI-Agent erledigt die gesamte Vorarbeit, hält den Prozess aber an einem definierten Punkt an und wartet auf eine menschliche Freigabe.

Ein praktisches Beispiel aus dem Einkauf: Der KI-Agent identifiziert einen Bestellbedarf, prüft Lagerbestände und vergleicht Lieferantenangebote. Er erstellt einen Bestellvorschlag, versendet diesen aber erst, nachdem ein Mitarbeiter aus dem Einkauf den Vorschlag geprüft und per Klick freigegeben hat. Die Kontrolle bleibt somit vollständig beim Menschen.

Ein KI-Agent ist nur so gut wie die Daten und Regeln, auf denen er trainiert wurde. Trifft er auf einen neuen, unbekannten Fall oder eine unklare Anweisung, darf er nicht raten oder improvisieren. Stattdessen muss er einem festgelegten Eskalationspfad folgen.

Dieser Pfad definiert genau, was in solchen Situationen passiert:

Der Prozess wird sofort angehalten, um Fehler zu vermeiden.

Der Vorgang wird mit allen relevanten Informationen an einen bestimmten Mitarbeiter oder eine Abteilung zur Klärung übergeben.

Der KI-Agent dokumentiert den Grund für die Eskalation, damit das System für die Zukunft dazulernen kann.

Technische Leitplanken sollen verhindern, dass ein KI-Agent seinen definierten Aufgabenbereich verlässt. Die wichtigste Leitplanke ist das Berechtigungsmanagement. Der Agent erhält nur Zugriff auf die Systeme, Daten und Funktionen, die er für seine konkrete Aufgabe benötigt — und nicht mehr. Dies soll unterbinden, dass er beispielsweise versehentlich auf Personaldaten zugreifen kann, wenn seine Aufgabe die Rechnungsverarbeitung ist.

Eine weitere Leitplanke sind finanzielle oder quantitative Grenzwerte. Ein KI-Agent im Einkauf könnte beispielsweise die Berechtigung haben, Bestellungen bis zu einem Wert von 500 Euro selbstständig auszulösen. Liegt der Wert darüber, greift automatisch die im vorherigen Punkt beschriebene Freigabestufe durch einen Menschen. So werden finanzielle Risiken wirksam begrenzt.

Die Begriffe „KI-Agent“ und „KI-Assistent“ beschreiben oft Systeme, die auf einen Befehl warten oder einer starren Regel folgen. Die Kontrolle ist hier reaktiv: Man prüft, ob das Werkzeug die Anweisung korrekt ausgeführt hat. Das ist vergleichbar mit der Bedienung einer Maschine.

Ein KI-Mitarbeiter hingegen ist ein System, dem ein ganzer Prozessbereich übergeben wird. Die hier beschriebenen Kontrollmechanismen sind von Beginn an Teil seiner „Stellenbeschreibung“. Er ist darauf ausgelegt, innerhalb seiner Leitplanken autonom zu arbeiten und sich proaktiv zu melden, wenn eine menschliche Entscheidung erforderlich ist. Die Kontrolle ist somit kein nachträglicher Prüfschritt, sondern ein integraler Bestandteil des Systems selbst.