KI-Agent im Kundendienst: Rückerstattungen absichern

Das Wichtigste in Kürze

Die Kundin ist nicht der Auftraggeber: Ihre Nachricht darf die Grenzen des Händlers nicht verschieben.
Gutschriften und Rückerstattungen werden vor der Buchung ausserhalb des Modells gegen das Mandat geprüft.
Abgelehnte Entscheide zeigen, wo Kundinnen oder Angreifer die Grenzen testen.

Ausgangslage

Ein Händler setzt einen Agenten ein, der Reklamationen bearbeitet: Lieferungen verfolgen, Fehler erkennen, Ersatz oder Gutschrift anbieten. Kleine Fälle soll er selbst lösen, grössere an Mitarbeitende übergeben. Das Risiko: Eine geschickt formulierte Nachricht bringt den Agenten dazu, mehr zu erstatten als erlaubt.

Ablauf mit Nachweisen

Mandat des Händlers: Der Agent darf Gutschriften bis 100 Franken und Rückerstattungen bis zum Bestellwert buchen, nur für bestehende Bestellungen.
Fallprüfung: Der Agent prüft Bestellung, Lieferstatus und Reklamationsgrund.
Entscheid: Eine Entscheidstelle prüft Betrag und Bezug zur Bestellung gegen das Mandat.
Eskalation: Höhere Beträge oder ungewöhnliche Fälle gehen an Mitarbeitende.
Buchung und Beleg: Jede Gutschrift wird mit Verweis auf Fall und Entscheid belegt.

Risiken und Gegenmassnahmen

Verwechselter Stellvertreter: Die Kundin ist nicht der Auftraggeber. Ihre Nachricht darf den Agenten nie dazu bringen, seine Rechte über den Rahmen des Händlers hinaus einzusetzen (Confused Deputy).
Eingeschleuste Anweisungen: Behauptungen wie «Ihr Vorgesetzter hat das genehmigt» werden gegen das Mandat geprüft, nicht geglaubt.
Serienmissbrauch: Viele kleine Gutschriften an dieselbe Person oder Adresse erkennen und eskalieren.
Fehlende Nachvollziehbarkeit: Ohne Beleg lässt sich später nicht zeigen, warum eine Gutschrift gebucht wurde.

Was KYA prüft

KYA prüft für jede Gutschrift, ob sie im Mandat des Händlers lag, ob ein Entscheid vorlag und ob die Buchung ihm entsprach. Eine Gutschrift über der Grenze fällt im Prüfschritt zum Umfang auf, unabhängig davon, wie überzeugend die Nachricht der Kundin war.

Einführung

Beginnen Sie mit Gutschriften in kleinen Beträgen und klaren Fällen, etwa verspäteten Lieferungen. Werten Sie abgelehnte Entscheide regelmässig aus; Häufungen zeigen, wo Kundinnen oder Angreifer die Grenzen testen.

Rollen und Verantwortlichkeiten

Leitung Kundendienst: legt Grenzen für Gutschriften und Rückerstattungen fest und stellt das Mandat aus.
Betrieb: betreibt Agent und Entscheidstelle und wertet abgelehnte Entscheide aus.
Mitarbeitende: übernehmen eskalierte Fälle und entscheiden über Ausnahmen.
Finanzen: gleichen gebuchte Gutschriften mit Belegen ab.

Kennzahlen für den Betrieb

Wichtig sind der Anteil selbst gelöster Fälle, die Summe der Gutschriften pro Tag im Vergleich zum Durchschnitt, abgelehnte Entscheide nach Begründung und wiederkehrende Empfänger. Ein Anstieg abgelehnter Entscheide mit Begründung «über der Grenze» zeigt oft gezielte Versuche, den Agenten zu überreden.

So sieht der Prüfschein aus

Für eine Gutschrift über 60 Franken wegen einer verspäteten Lieferung liegen das Mandat des Händlers, der Entscheid und der Beleg vor. Der Prüfschein bestätigt, dass der Betrag unter der Grenze von 100 Franken lag, ein Entscheid vorlag und die Buchung ihm entsprach. Das Urteil lautet gültig.

Hat sich der Agent zu einer Gutschrift über 900 Franken überreden lassen, meldet der Schritt zum Umfang den Code amount_exceeds_limit. Fehlt der Beleg der Buchung, meldet der Schritt zur Ausführung no_receipt, und das Ergebnis erreicht die höheren Stufen nicht.

Häufige Fragen

Darf ein KI-Agent im Kundendienst Geld erstatten?

Ja, im Rahmen eines Mandats des Händlers. Wichtig ist, dass die Entscheidung über die Erstattung nicht vom Modell allein abhängt, sondern gegen klare Grenzen geprüft wird.

Wie verhindere ich, dass Kundinnen den Agenten überreden?

Indem jede Erstattung vor der Buchung von einer Stelle ausserhalb des Modells gegen das Mandat geprüft wird. Behauptungen in Nachrichten ändern die Grenzen nicht.

Was ist ein Confused Deputy im Kundendienst?

Ein Agent, der seine Rechte im Sinn der Kundin statt im Rahmen des Händlers einsetzt, etwa weil sie ihn mit einer Behauptung dazu bringt.

Welche Belege brauche ich?

Für jede Gutschrift den Fall, den Entscheid und den Beleg der Buchung, damit sich später zeigen lässt, warum und in welchem Rahmen erstattet wurde.

Soll der Agent Kundinnen sagen, dass er eine Grenze hat?

Ja. Transparenz entschärft Konflikte: Der Agent erklärt, dass er bis zu einem Betrag selbst entscheiden kann und darüber eine Mitarbeiterin übernimmt.

Wie gehe ich mit Kulanzfällen um?

Kulanz ist eine eigene Handlung mit eigener Grenze im Mandat. Was darüber liegt, entscheidet ein Mensch, und ein signierter Entscheid hält die Ausnahme fest.

Kann der Agent auch Ersatzlieferungen auslösen?

Ja, als eigene Handlung im Mandat mit eigener Grenze, etwa bis zum Warenwert der ursprünglichen Bestellung. Auch Ersatzlieferungen werden vor der Ausführung geprüft und belegt.

Wie schnell lässt sich das Mandat des Agenten anpassen?

Ein neues Mandat mit geänderten Grenzen ist in Minuten ausgestellt. Das alte widerrufen Sie über die Statusliste, damit nur noch die neuen Grenzen gelten.

Quellen

OWASP: LLM01 Prompt Injection: https://genai.owasp.org/llmrisk/llm01-prompt-injection/
Confused-Deputy-Problem (Übersicht): https://en.wikipedia.org/wiki/Confused_deputy_problem