Erfolg eines KI-Mitarbeiters messen: die richtigen Zahlen

Ein Inhaber braucht keine hundert Statistiken, sondern vier klare Zahlen, die er in fünf Minuten überblickt. Alles darüber hinaus kostet Zeit in der Auswertung, ohne zusätzliche Klarheit zu bringen.

Diese vier Zahlen decken zusammen ab, wie viel Arbeit erledigt wird, wie schnell sie erledigt wird, wie zuverlässig sie erledigt wird, und was am Ende dabei gespart wird.

Bearbeitete Vorgänge sind die einfachste Zahl: wie viele Anfragen, Angebote oder Belege pro Woche durch den KI-Mitarbeiter laufen. Sie zeigt, wie stark das System im Alltag tatsächlich genutzt wird.

Wichtig ist, gleich zu Beginn festzulegen, was als ein Vorgang zählt, zum Beispiel eine E-Mail-Anfrage oder ein einzelner Beleg. Sonst vergleichen Sie später Zahlen, die gar nicht zusammenpassen.

Die Durchlaufzeit zeigt, wie lange ein Vorgang vom Eingang bis zum Abschluss braucht, zum Beispiel von der Kundenanfrage bis zum versendeten Angebot. Sie ist oft aussagekräftiger als die reine Stundenzahl, weil Kunden genau diese Wartezeit spüren.

Sinkt die Durchlaufzeit von zwei Tagen auf zwei Stunden, merkt das der Kunde direkt, auch wenn die eingesparten Stunden intern gering wirken. Beide Zahlen zusammen ergeben erst ein vollständiges Bild.

Die Korrekturquote misst, wie oft ein Mensch das Ergebnis des KI-Mitarbeiters vor der Freigabe noch ändern musste. Eine hohe Quote heißt nicht automatisch Misserfolg, sie zeigt aber, wo noch nachtrainiert werden sollte.

In den ersten Wochen liegt diese Quote naturgemäß höher, weil der KI-Mitarbeiter noch Ausnahmen im Betrieb lernt. Sinkt sie über die Monate deutlich, ist das ein verlässliches Zeichen, dass sich die Einarbeitung ausgezahlt hat.

Ein Elektrobetrieb mit 22 Mitarbeitern erfasste vor der Einführung: 60 Angebotsanfragen pro Woche, je 25 Minuten Bearbeitungszeit, das sind 25 Stunden pro Woche. Bei einem Stundensatz von 40 Euro für die Bürokraft sind das 1.000 Euro pro Woche.

Nach drei Monaten mit KI-Mitarbeiter braucht die Bürokraft für dieselben 60 Anfragen nur noch 8 Minuten pro Vorgang, weil sie den Entwurf nur noch prüft. Das sind 8 Stunden pro Woche, also 320 Euro. Die eingesparten Stunden betragen 17 pro Woche, umgerechnet 680 Euro.

Bei laufenden Kosten von angenommen 350 Euro im Monat steht dieser Ersparnis von rund 2.720 Euro im Monat ein klarer Vorteil gegenüber. Ohne den vorherigen Wert von 25 Stunden hätte der Betrieb diesen Vergleich gar nicht ziehen können.

Ohne einen Ausgangswert vor dem Start lässt sich später kein ehrlicher Vergleich ziehen. Viele Betriebe überspringen diesen Schritt, weil er nach zusätzlicher Arbeit klingt, dabei reicht eine einfache Woche mit Strichliste.

Bei sehr kleinen Aufgabenbereichen, etwa wenn der KI-Mitarbeiter nur fünf Vorgänge pro Woche bearbeitet, lohnt sich eine aufwendige Auswertung kaum. Der Aufwand für die Messung übersteigt dann schnell den Nutzen der Erkenntnis.

Auch wenn ein Betrieb vor dem Start keinerlei Ausgangswert festhält, wird die spätere Messung unscharf und eher ein Bauchgefühl als eine belastbare Zahl. In solchen Fällen sollte man ehrlich sagen: Man merkt die Wirkung im Alltag, kann sie aber nicht sauber belegen.

Ein kurzes Gespräch zu Beginn hilft oft, die richtigen Kennzahlen für den eigenen Betrieb festzulegen, statt im Nachhinein zu raten.