Mensch in der Schleife: Freigaben, Kontrolle und Verantwortung bei KI-Agenten

Die Sachbearbeiterin öffnet morgens ihren Posteingang: 47 neue E-Mails, darunter Lieferantenrechnungen, Rückfragen von Kunden und zwei Beschwerden. Bis sie alle Vorgänge gesichtet, kategorisiert und in die richtige Ableitung weitergeleitet hat, vergehen anderthalb Stunden — Zeit, die für keine der eigentlichen Aufgaben genutzt wurde.

Genau für solche Abläufe werden KI-Agenten entwickelt. Sie lesen den Posteingang, erkennen den Anlass, ordnen Dokumente zu und legen Vorgänge an. Doch die Frage, die viele Unternehmen im Mittelstand beschäftigt, lautet nicht: „Kann ein KI-Agent das?" — sondern: „Darf er das allein entscheiden? Und wer trägt die Verantwortung, wenn etwas schiefläuft?"

Dieser Artikel beschreibt, wie Freigaben bei KI-Agenten sinnvoll gestaltet werden, wo Stichproben und das Vier-Augen-Prinzip nötig sind, wie Protokolle und Eskalationen funktionieren — und warum die Verantwortung immer beim Unternehmen bleibt.

Was ein KI-Agent in einem KMU tatsächlich tut

Ein KI-Agent ist kein Chatbot, der auf Fragen antwortet. Er nimmt Aufgaben entgegen, führt eine Folge von Schritten aus, nutzt dafür Werkzeuge und Schnittstellen — und erzeugt ein Ergebnis, das weiterverarbeitet wird. Typische Einsatzfelder:

• Posteingang sortieren und vorbereiten: Der Agent liest eingehende E-Mails, extrahiert relevante Informationen (Absender, Anliegen, Anhänge), kategorisiert den Vorgang und legt ihn im CRM oder Ticketsystem an.
• Dokumente auslesen: Rechnungen, Lieferscheine oder Formulare werden mit Machine Learning geparst; extrahierte Felder (Betrag, Datum, Lieferant) werden in Systeme übertragen.
• Entwürfe erstellen: Auf Basis eines eingehenden Vorgangs formuliert der Agent eine Antwort oder ein Angebotsschreiben — zur Prüfung und Freigabe durch einen Mitarbeitenden.
• Daten zwischen Systemen übertragen: Bestelleingänge aus einem Portal landen automatisch im ERP; der Agent prüft Vollständigkeit und löst den nächsten Prozessschritt aus.
• Rückfragen vorbereiten: Fehlen in einem Auftrag Angaben, formuliert der Agent die Rückfrage und legt sie zur Freigabe vor.

Keiner dieser Schritte erfordert zwingend menschliche Beteiligung bei jedem einzelnen Vorgang. Aber nicht jeder Schritt eignet sich für vollständige Autonomie.

Warum KI-Agenten nicht alles allein entscheiden dürfen

Die Fähigkeit eines KI-Agenten, einen Ablauf korrekt auszuführen, und die Frage, ob er das auch allein entscheiden darf, sind zwei verschiedene Dinge.

Grenzen der KI: Was Agenten nicht zuverlässig leisten

KI-Agenten arbeiten auf Basis von Mustern und Wahrscheinlichkeiten. Sie können plausible Ausgaben erzeugen, die dennoch falsch sind — sogenannte Halluzinationen. Ein Agent, der eine Rechnung ausliest, kann einen Betrag falsch erkennen. Ein Agent, der eine Antwort entwirft, kann eine rechtlich relevante Formulierung wählen, die im konkreten Fall nicht passt.

Hinzu kommen Randfälle: ungewöhnliche Dokumentenformate, unklare Formulierungen im Original, fehlende Kontextinformation. Je seltener ein Muster im Trainingsdatensatz vorkam, desto unsicherer ist das Ergebnis — und genau diese Randfälle sind oft die kritischen.

Haftung und Verantwortung bleiben beim Unternehmen

Wenn ein KI-Agent eine Zahlung auslöst, einen Kunden falsch informiert oder ein Dokument fehlerhaft weiterverarbeitet, haftet nicht der Agent und nicht der Softwarehersteller. Die rechtliche und wirtschaftliche Verantwortung liegt beim Unternehmen, das den Agenten einsetzt.

Das gilt auch im Rahmen der EU-KI-Verordnung (Verordnung (EU) 2024/1689): Welche Pflichten ein Unternehmen als Betreiber eines KI-Systems trägt, hängt vom Einsatzzweck und der Risikoklasse ab. Das ist im Einzelfall — am besten mit rechtlicher Beratung — zu klären. Eine pauschale Aussage, welche Anforderungen gelten, lässt sich hier nicht treffen.

Für Datenschutzfragen gilt: Der Einsatz eines KI-Agenten, der personenbezogene Daten verarbeitet, muss auf eine Rechtsgrundlage gestützt werden. Auftragsverarbeitung, Datenminimierung, Speicherort, Löschfristen und die Information der Betroffenen sind zu klären. „DSGVO-konform" ist kein Zustand, der automatisch eintritt — er muss aktiv hergestellt und dokumentiert werden. Beziehen Sie Ihren Datenschutzbeauftragten frühzeitig ein.

Fachliches Urteil ist nicht delegierbar

Es gibt Entscheidungen, die ein KI-Agent vorbereiten, aber nicht treffen darf — nicht weil er es technisch nicht könnte, sondern weil das fachliche Urteil dazu eine menschliche Verantwortungsübernahme erfordert. Beispiele:

• Kreditzusagen oder Vertragsabschlüsse
• Medizinische Einschätzungen (auch in Verwaltungsprozessen)
• Kündigungen oder Eskalationen mit rechtlichen Folgen
• Entscheidungen mit erheblicher wirtschaftlicher Tragweite

Der Agent bereitet vor. Der Mensch entscheidet.

Freigabe-Architektur: Wann braucht ein KI-Agent grünes Licht?

Die Frage ist nicht, ob es Freigaben geben soll — sondern wie sie gestaltet werden, damit sie wirklich schützen, ohne den Effizienzgewinn zu vernichten.

Vollständige Autonomie: Wann sie vertretbar ist

Ein KI-Agent darf vollständig autonom arbeiten, wenn alle drei Bedingungen erfüllt sind:

1. Das Ergebnis ist vollständig reversibel. Eine E-Mail-Kategorisierung oder das Anlegen eines Vorgangs im Ticketsystem kann korrigiert werden, ohne dass daraus ein wirtschaftlicher Schaden entsteht.
2. Die Fehlerrate ist messbar niedrig. Durch Testläufe und laufende Stichproben ist belegt, dass der Agent in der überwältigenden Mehrheit der Fälle korrekt handelt.
3. Es besteht kein Haftungsrisiko für einzelne Ausgaben. Der Agent trifft keine Entscheidungen mit rechtlicher oder wirtschaftlicher Bindungswirkung.

Unter diesen Bedingungen arbeitet der Agent durch, und Menschen prüfen im Nachhinein — per Stichprobe, nicht Vorgang für Vorgang.

Freigabe vor der Ausführung: Wann sie zwingend ist

Für Aktionen, die irreversibel oder haftungsrelevant sind, braucht der Agent eine explizite menschliche Freigabe, bevor er handelt. Das klassische Vier-Augen-Prinzip gilt hier genauso wie bei manuellen Prozessen — nur dass jetzt einer der beiden Beteiligten ein Agent ist.

Typische Situationen mit Freigabepflicht:

Die Freigabe selbst sollte so gestaltet sein, dass sie einen echten Prüfschritt darstellt — nicht nur ein Klick, der reflexartig ausgeführt wird. Dazu gehört, dass der Agent die Grundlage seiner Ausgabe mitliefert: welche Daten er verwendet hat, wie er zu dem Ergebnis gekommen ist, und was zu prüfen ist.

Schwellwertbasierte Freigabe: Der praktische Mittelweg

Für viele Prozesse funktioniert ein abgestuftes Modell: Der Agent arbeitet autonom bis zu einem definierten Schwellwert. Wird dieser überschritten oder liegt ein Ausnahmefall vor, tritt automatisch eine Freigabepflicht in Kraft.

Ein hypothetisches Beispiel: Ein Agent verarbeitet eingehende Lieferantenrechnungen. Rechnungen unter 500 Euro von bekannten Lieferanten bucht er direkt durch. Rechnungen über diesem Betrag, von unbekannten Lieferanten oder mit Abweichungen gegenüber der Bestellung leitet er zur manuellen Prüfung weiter. Der Schwellwert und die Ausnahmekriterien werden durch das Unternehmen definiert — nicht durch den Agenten.

Stichproben: Kontrolle ohne Vollprüfung

Vollständige manuelle Nachkontrolle jedes einzelnen Agentenoutputs ist ineffizient und verfehlt den Zweck des Einsatzes. Sinnvoller ist eine strukturierte Stichprobenkontrolle.

Wie eine wirksame Stichprobe aussieht

Eine wirksame Stichprobe ist nicht zufällig — sie ist risikobasiert. Konkret heißt das:

• Zufallsstichprobe: Ein fester Anteil aller verarbeiteten Vorgänge wird nachgeprüft, unabhängig vom Ergebnis. Empfehlenswert in der Einführungsphase und bei neu kalibrierten Agenten.
• Risikobasierte Auswahl: Vorgänge mit bestimmten Merkmalen (unbekannte Absender, Beträge über einem Schwellwert, Formulierungen, die der Agent mit niedrigem Konfidenzwert verarbeitet hat) werden bevorzugt geprüft.
• Fehlergetriggerte Eskalation: Wenn ein Reviewer bei einer Stichprobe einen Fehler findet, wird automatisch eine erweiterte Prüfung für den betroffenen Prozesstyp ausgelöst.

Das Ergebnis jeder Stichprobe wird protokolliert: Was wurde geprüft? Wer hat geprüft? Was war das Urteil? Gab es Korrekturen?

Konfidenzwerte als Steuerungsgröße

Gut konzipierte KI-Agenten liefern zu ihren Ausgaben einen Konfidenzwert — einen internen Schätzwert, wie sicher der Agent sich bei seiner Ausgabe ist. Niedrige Konfidenzwerte können als automatischer Trigger für manuelle Prüfung konfiguriert werden. So landet beim Menschen nicht ein zufällig ausgewählter Vorgang, sondern genau der, bei dem der Agent selbst unsicher war.

Protokolle: Was festgehalten werden muss

Ein KI-Agent, der nicht protokolliert, ist ein Sicherheitsrisiko — nicht weil er automatisch Schaden anrichtet, sondern weil Fehler ohne Protokoll nicht nachvollziehbar, nicht korrigierbar und nicht lernfähig sind.

Mindestinhalte eines Agentenprotokolls

Für jeden verarbeiteten Vorgang sollte das System festhalten:

• Eingabe: Welche Daten oder Dokumente hat der Agent erhalten?
• Verarbeitungsschritte: Welche Werkzeuge oder Schnittstellen hat er aufgerufen?
• Ausgabe: Was hat er produziert oder ausgelöst?
• Konfidenz: Wie sicher war er sich?
• Freigabestatus: War eine Freigabe nötig? Wurde sie erteilt? Von wem und wann?
• Korrekturen: Wurde die Agentenausgabe manuell verändert? Wenn ja: was und warum?

Diese Protokolle erfüllen mehrere Funktionen gleichzeitig: Sie ermöglichen die Nachverfolgung einzelner Vorgänge, sie liefern die Datenbasis für Qualitätsbewertungen und sie sind im Streitfall der Nachweis, dass das Unternehmen seinen Kontrollpflichten nachgekommen ist.

Aufbewahrung und Zugriff

Wie lange Protokolle aufzubewahren sind, hängt vom jeweiligen Einsatzkontext ab — und kann durch handels- oder steuerrechtliche Vorschriften, branchenspezifische Anforderungen oder Datenschutzregeln beeinflusst werden. Das ist im Einzelfall zu klären. Klar ist: Protokolle, die nur für 24 Stunden vorgehalten werden, bieten keinen verlässlichen Schutz.

Der Zugriff auf Protokolle sollte rollenbasiert sein: Wer welche Vorgänge einsehen und auswerten darf, ist bewusst zu steuern — nicht nur aus Datenschutzgründen, sondern auch um Manipulation zu erschweren.

Eskalation: Was passiert, wenn der Agent nicht weiterkommt

Ein KI-Agent sollte nie in einer Situation stecken, in der er zwischen zwei gleich plausiblen Ausgaben wählt, einfach weil keine Freigabe da ist. Eskalationspfade müssen vorab definiert sein.

Wann ein Agent eskalieren muss

• Der Vorgang erfüllt kein bekanntes Muster — der Agent kann ihn nicht mit ausreichender Sicherheit einordnen.
• Die Ausgabe würde einen Schwellwert überschreiten, für den keine Freigabe konfiguriert ist.
• Ein Systemaufruf schlägt fehl und der Agent kann den Prozess nicht abschließen.
• Der Agent erkennt einen internen Widerspruch in den Eingabedaten.

In allen diesen Fällen gilt: Der Agent stoppt, protokolliert den Zustand und übergibt den Vorgang an einen menschlichen Bearbeiter — mit einer klaren Beschreibung, warum er eskaliert hat, und allen relevanten Informationen für die Weiterbearbeitung.

Eskalationspfad als Konfiguration, nicht als Notlösung

Ein häufiger Fehler bei der Einführung von KI-Agenten: Eskalation wird als seltener Ausnahmefall behandelt, für den kein sauberer Prozess existiert. Tatsächlich ist der Eskalationspfad ein zentrales Design-Element. Er muss genauso konfiguriert, getestet und gewartet werden wie der Regelablauf.

Das bedeutet in der Praxis: Welcher Mitarbeitende oder welche Abteilung empfängt eskalierte Vorgänge? Innerhalb welcher Frist? Gibt es Vertreterregelungen? Wird der Mensch, der einen eskalierten Vorgang bearbeitet, im System benachrichtigt — oder muss er aktiv nachschauen?

Hypothetisches Praxisbeispiel: Eingangsrechnungsverarbeitung mit Freigabestufen

Das folgende Beispiel ist hypothetisch und dient der Veranschaulichung eines möglichen Ablaufs. Es beschreibt kein reales Kundenprojekt.

Ein mittelständisches Großhandelsunternehmen mit 35 Mitarbeitenden erhält täglich etwa 80 bis 120 Lieferantenrechnungen per E-Mail und PDF. Bisher sortiert eine kaufmännische Mitarbeiterin diese Dokumente, prüft Bestellbezüge und gibt Rechnungen zur Zahlung frei — ein Aufwand von täglich drei bis vier Stunden.

Ein individuell entwickelter KI-Agent übernimmt folgende Schritte:

1. Dokumenteneingang: Der Agent liest eingehende E-Mails auf einem dedizierten Postfach und extrahiert anhängende PDF-Dokumente.
2. Datenextraktion: Lieferant, Rechnungsnummer, Betrag, Leistungszeitraum und Positionen werden ausgelesen und gegen das ERP abgeglichen.
3. Dreiwege-Abgleich: Der Agent prüft Rechnung gegen Bestellung und Wareneingang. Stimmt alles überein, legt er die Rechnung zur Freigabe vor — mit allen relevanten Daten übersichtlich aufbereitet.
4. Schwellwertbasierte Eskalation: Betragsabweichungen über einem definierten Prozentsatz, fehlende Bestellbezüge oder unbekannte Lieferanten lösen automatisch eine erweiterte Prüfpflicht aus.
5. Freigabe: Die kaufmännische Mitarbeiterin sieht in einer Freigabeoberfläche alle vorbereiteten Vorgänge, kann sie mit einem klaren Prüfblick bestätigen oder korrigieren — und widmet ihre Zeit den Ausnahmen und Korrekturfällen.

Das Protokoll hält für jede Rechnung fest, welche Daten der Agent extrahiert hat, ob ein Bestellabgleich stattfand, wer freigegeben hat und ob Korrekturen vorgenommen wurden. Stichproben werden wöchentlich durch eine zweite Person ausgewertet.

Verantwortung organisieren: Wer ist für den Agenten zuständig?

Ein KI-Agent ist kein Selbstläufer. Jemand im Unternehmen muss ihn verantworten — und diese Verantwortung braucht eine klare organisatorische Verortung.

Der Agent braucht einen Owner

Wer ist zuständig, wenn der Agent einen Fehler macht? Wer entscheidet, ob ein Schwellwert angepasst wird? Wer bewertet die Stichprobenergebnisse und leitet Maßnahmen ein?

Diese Fragen sollten vor dem Go-live beantwortet sein — nicht danach. In der Praxis empfiehlt sich ein benannter Process Owner, der den Agentenbetrieb fachlich verantwortet, und ein technischer Ansprechpartner (intern oder extern), der Konfiguration, Schnittstellen und Protokolle betreut.

Mitarbeitende einbeziehen, nicht übergehen

KI-Agenten werden in Prozesse eingeführt, in denen Menschen bisher gearbeitet haben. Der Erfolg hängt nicht nur von der technischen Qualität ab, sondern auch davon, ob die beteiligten Mitarbeitenden die Kontrolle behalten — und das auch so erleben. Das bedeutet konkret:

• Freigabeprozesse werden gemeinsam mit den Fachkräften gestaltet, nicht über sie hinweg.
• Mitarbeitende verstehen, warum der Agent bestimmte Entscheidungen trifft — keine Blackbox.
• Die Möglichkeit, einen Agenten manuell zu stoppen oder einen Vorgang zurückzuziehen, ist immer gegeben.

Das ist kein weicher Faktor. Agenten, die von den Menschen, die sie nutzen sollen, abgelehnt werden, scheitern im Betrieb — unabhängig von ihrer technischen Qualität.

Wie SWBS individuelle KI-Agenten mit Freigabe-Architektur entwickelt

SW Business Solutions entwickelt keine Standard-KI-Tools, die man einfach installiert. Stattdessen analysieren wir zunächst die konkreten Abläufe eines Unternehmens: Welche Schritte lassen sich automatisieren? Wo braucht es Freigaben? Welche Schwellwerte sind sinnvoll? Was muss protokolliert werden?

Erst danach entsteht ein KI-Agent, der auf diese spezifischen Anforderungen zugeschnitten ist — mit Anbindung an bestehende Systeme über definierte Schnittstellen, mit konfigurierten Freigabestufen, mit Protokollen, die den Betrieb dokumentieren, und mit Eskalationspfaden, die von Anfang an getestet sind.

Das ist eine Entwicklungsaufgabe, keine Lizenz. Sie verursacht einmaligen Aufwand für Konzeption und Umsetzung sowie laufenden Aufwand für Betrieb, Monitoring und Weiterentwicklung. Wer das realistisch einplant, bekommt einen Agenten, der tatsächlich zuverlässig arbeitet — und nicht einen, der nach drei Monaten ungenutzt abgeschaltet wird.

Wenn Sie verstehen möchten, welche Abläufe in Ihrem Betrieb für einen KI-Agenten geeignet sind und wie Freigaben und Kontrolle sinnvoll gestaltet werden, ist ein KI-Readiness-Check der sinnvolle erste Schritt.

Mehr zur Grundlage und zu konkreten Funktionen von KI-Agenten im Unternehmenseinsatz finden Sie in unserem Überblicksartikel KI-Agenten für Unternehmen. Wie Automatisierung und KI konkret zusammenwirken, beschreibt der Leitfaden zur Prozessautomatisierung im Mittelstand.

Was kein KI-Agent ersetzt

Zum Abschluss ein ehrlicher Blick auf die Grenzen:

Nicht jede Aufgabe eignet sich für einen KI-Agenten. Wenn ein Prozess zu selten vorkommt, zu stark variiert oder wenn die Datenbasis für Training und Kalibrierung fehlt, ist ein Agent keine wirtschaftliche Lösung. Manchmal ist strukturierte Workflow-Automatisierung ohne KI sinnvoller.

Nicht jede Freigabe lässt sich wegkonfigurieren. Wo Haftungsrisiken bestehen oder Fachurteil zwingend erforderlich ist, bleibt der Mensch in der Schleife — nicht als Kontrollorgan, das reflexartig abnickt, sondern als entscheidungsfähige Person.

Nicht jedes KI-Projekt rechnet sich kurzfristig. Individuelle Entwicklung, Systemanbindung, Testläufe und laufender Betrieb kosten. Der wirtschaftliche Nutzen entsteht über Zeit — und nur dann, wenn der Agent tatsächlich zuverlässig in den Betrieb integriert ist.

Diese Ehrlichkeit ist kein Argument gegen KI-Agenten. Sie ist die Grundlage dafür, dass der Einsatz tatsächlich funktioniert.

Bereit, KI-Potenziale in Ihrem Betrieb zu prüfen? SW Business Solutions analysiert Ihre Abläufe, zeigt Ihnen konkret, welche Aufgaben sich für einen KI-Agenten eignen, und entwickelt eine Lösung, die zu Ihren Systemen und Ihrer Verantwortungsstruktur passt — mit Freigaben, Protokollen und echtem Betrieb. Nehmen Sie jetzt Kontakt auf oder vereinbaren Sie direkt ein unverbindliches Erstgespräch.