Durch Zufallsstichproben werden die wirklich wichtigen Anrufe übersehen. Wir haben die Supervisor-Konsole um eine Risikobewertung herum umgestaltet – und haben aufgehört, so zu tun, als wäre Qualitätssicherung ein Spiel mit Zahlen.
Zwei Jahrzehnte lang einigte sich die Contact-Center-Branche auf einen Prozess: Ein Vorgesetzter wählte nach dem Zufallsprinzip einen kleinen Prozentsatz der aufgezeichneten Anrufe aus – normalerweise 2 bis 5 pro Agent und Woche –, bewertete sie anhand einer 30-Zeilen-Rubrik und fasste die Ergebnisse in einem Coaching-Bericht zusammen. Die gesamte Branche wurde um diese Praxis herum aufgebaut. Anbieter verkauften Scorecards. Prüfer validierten Rubriken. Konferenzen hatten Spuren dafür.
Die Rechnung hat nie funktioniert. Ein Contact Center mit 1.000 Agenten, das 200.000 Anrufe pro Woche bearbeitet, ergibt bei einer Stichprobe von 2 % pro Agent 40.000 bewertete Anrufe – was sich nach viel anhört, bis man erkennt, dass die Stichprobe bei Anrufen, die zu 99 % harmlos sind, einheitlich zufällig ist.
Die Stichprobe von 40.000 zufälligen Gesprächen, um die 60 Anrufe zu finden, bei denen der Agent Compliance-Verstöße begangen hat, ist die Definition einer Nadel im Heuhaufen. Bis der Heuhaufen sortiert ist, ist der Agent weitergezogen, der Kunde ist abgewandert und der Verstoß hat sich verschärft.
Bei der Qualitätssicherung ging es nie darum, den durchschnittlichen Anruf zu bewerten. Es ging darum, die Anrufe zu finden, auf die es ankam – die Fehlschläge, die Speicherungen, die Grenzfälle, die Gespräche, bei denen der Agent etwas Außergewöhnliches oder Besorgniserregendes tat. Zufallsstichproben sind strukturell schlecht darin, diese zu finden.
Zwei Dinge haben sich so stark verändert, dass das alte Modell offensichtlich kaputt ist. Erstens hat die Transkriptionsqualität eine Nützlichkeitsschwelle überschritten – in den meisten wichtigen Sprachen sind Transkripte mittlerweile zuverlässig genug, um mit Software zu punkten, nicht nur mit menschlichen Ohren.
Zweitens sind große Sprachmodelle bei der überwachten Klassifizierung so gut geworden, dass ein individuell trainiertes Modell für weniger als einen Cent einen Aufruf in 30 Dimensionen in 4 Sekunden erzielen kann.
Zusammengenommen bedeutete dies, dass zum ersten Mal in der Geschichte des Contact Centers jeder einzelne Anruf anhand der Rubrik bewertet werden konnte – nicht mit 2 %, nicht mit 5 %, sondern mit 100 %. Sobald jeder Anruf bewertet ist, lautet die Frage nicht mehr: „Welche Anrufe nehmen wir wahr?“ und lautet: „Welche Anrufe verdienen die Aufmerksamkeit eines menschlichen Vorgesetzten?“
Das ist die Frage, die es wert ist, gelöst zu werden, und es handelt sich um ein Ranking-Problem, nicht um ein Stichprobenproblem.
Wir bewerten jeden Anruf anhand von drei unabhängigen Dimensionen und kombinieren sie dann zu einem einzigen Rang, den der Vorgesetzte in seiner Konsole sieht.
Die drei Dimensionen sind nicht gleich gewichtet und die Gewichtungen sind bei allen Kunden nicht gleich. Ein Inkassounternehmen schätzt das Compliance-Risiko am stärksten ein. Ein engagiertes SaaS-Supportteam für Unternehmen wägt das Ergebnisrisiko ab. Ein schulungsintensives Onboarding-Team legt großen Wert auf den Coaching-Wert. Die Gewichtungen werden in den Supervisor-Einstellungen angezeigt und wir legen sinnvolle Standardwerte pro Branche fest.
Die Konsole sieht bewusst anders aus als die alte „Random Sample Queue“-Benutzeroberfläche. Anstelle einer paginierten Liste der letzten Anrufe handelt es sich um eine Warteschlange mit einer einzigen Rangfolge, sortiert nach der kombinierten Risikobewertung, die alle zwei Minuten aktualisiert wird. Ganz oben in der Warteschlange stehen die etwa 20 Anrufe, die heute Aufmerksamkeit erfordern. Alles darunter ist ein langer Schwanz.
Jede Anrufkarte enthält die drei Unterbewertungen, eine 90-sekündige Zusammenfassung dessen, worum es bei dem Anruf ging, und die spezifischen Ausschnitte, die das Modell markiert hat. Ein Vorgesetzter kann sich den Ausschnitt anhören, ohne den gesamten Anruf mitzuhören. Wenn der Ausschnitt die ganze Geschichte wiedergibt – und das ist in den meisten Fällen der Fall –, bestätigt oder lehnt der Vorgesetzte die Meldung innerhalb von 30 Sekunden ab und geht weiter.
Früher dauerte die Qualitätssicherung per Zufallsstichprobe durchschnittlich 8 Minuten pro Anruf. Die Ranglistenwarteschlange dauert durchschnittlich 2 Minuten und 40 Sekunden. Die Kosten für die Qualitätssicherung pro Anruf sind gesunken. Die Abdeckung ist von 2 % auf 100 % gestiegen. Der Vorgesetzte verbringt seine Zeit mit den Anrufen, die die Kennzahl tatsächlich verändert haben.
Als wir den QA-Leitern bei den Design-Partner-Kunden die Rangfolge-Warteschlange zeigten, wurden durchweg drei Einwände erhoben.
Im Abstrakten wahr; in der Praxis meist falsch. Dem Modell fehlen menschliche Dinge Spezialist würde auffallen – ein Compliance-Prüfer, der denselben Anruf überprüft, könnte Feinheiten finden, die das Modell nicht kennzeichnet. Aber der Vergleich ist nicht gegen einen Spezialisten. Es geht darum, dass ein Vorgesetzter 2 % der Anrufe zufällig auswählt. Das Modell bewertet 100 % und markiert die offensichtlichen 5 %. Der Spezialist überprüft die 5 %.
Die Netzabdeckung ist weitaus besser als im alten System.
Wahrscheinlich wahr. Jede Kennzahl, die Aufmerksamkeit erregt, wird manipuliert. Die Verteidigung ist zweifach: Der Punktestand ist mehrdimensional, das heißt, wenn man eine Achse spielt, steigt man auf einer anderen auf; und die Punktzahl ist nicht die Leistungsbeurteilung des Agenten. Der Score ist ein Triage-Signal für den Vorgesetzten. Die Leistungsbeurteilung ist das, was der Vorgesetzte abschließt, nachdem er sich das eigentliche Gespräch angehört hat.
Wir verkaufen die Partitur als Warteschlange, nicht als Anzeigetafel.
Auch wahr, und wir sollten ehrlich sein. Der Vorgesetzte eines Contact Centers mit Rangfolge verbringt weniger Zeit damit, Anrufe anhand einer 30-Zeilen-Rubrik zu bewerten, und hat mehr Zeit mit Coaching, Eskalation und Intervention. Die Vorgesetzten, denen der alte Job gefallen hat – der methodische, auf Scorecards basierende Teil davon –, sind von dem neuen nicht unbedingt begeistert.
Wir haben vor der Veröffentlichung offen mit den Betriebsleitern unserer Designpartner darüber gesprochen. Es handelt sich um eine Änderung des Arbeitsablaufs, nicht nur um einen Werkzeugwechsel.
Bei den vier Designpartnern, die 90 Tage lang ausschließlich die Ranglistenwarteschlange verwalteten, eskalierten die Supervisor-Teams 4,7-mal mehr Anrufe pro Woche zur Kundenbindung oder Compliance als bei der Zufallsstichprobe. Der Anstieg war kein „mehr Kontrolle“-Effekt; Es handelte sich fast ausschließlich um Anrufe, die durch Zufallsstichproben strukturell übersehen worden waren.
Einem Kunden fiel ein Fehler im Inkasso-Skript auf – ein einzelner Agent hatte bei etwa 9 % seiner Anrufe begonnen, eine Sprache zu verwenden, die die FDCPA-Grenze überschritt – und diese zufällige Stichprobe war 11 Wochen lang nicht aufgetaucht. Die Rangfolge-Warteschlange tauchte innerhalb von 48 Stunden nach Beginn der Drift auf, da der Compliance-Risiko-Score dieser spezifischen Anrufe zwei Standardabweichungen über den Basiswert des Agenten sprang.
Ein anderer Kunde stellte fest, dass die Agenten, die das Zufallsstichprobensystem als die leistungsschwächsten Agenten gekennzeichnet hatte, in Wirklichkeit nicht die leistungsschwächsten waren – sie waren einfach die lautesten. Die Rangliste, die auf der Grundlage des Ergebnisrisikos bewertet wurde, identifizierte zwei ruhige, aber durchweg leistungsschwache Agenten, deren Anrufe mit der gleichen Rate wie alle anderen abgetastet wurden und im „durchschnittlichen“ Stapel gelandet waren.
Drei Dinge, mit Absicht.
Wir bewerten Agenten nicht automatisch anhand der Ausgabe der Warteschlange. Der Score ist ein Triage-Signal. Die Leistungsbewertung von Agenten erfolgt immer noch durch einen Vorgesetzten. Wir halten den Menschen bewusst auf dem Laufenden, nicht weil das Modell dazu nicht in der Lage ist, sondern weil wir beobachtet haben, wie häufig automatisch bewertete Systeme das Vertrauen untergraben, sodass wir das Muster vollständig vermeiden wollen.
Wir werden dem Agenten während des Anrufs nicht den Echtzeit-Score des Agenten mitteilen. Es gibt eine Denkrichtung, die besagt, dass Agenten ihre eigenen Coaching-Ergebnisse in Echtzeit sehen sollten. Es gibt eine stärkere Denkrichtung, die besagt, dass dies den Ruf herabwürdigt. Wir stehen auf der Seite der zweiten Schule.
Wir werden die Partitur standardmäßig nicht in Performance-Management-Systeme exportieren. Kunden, die den Score in ein separates HR-Tool einbinden möchten, können dies durch explizite Konfiguration tun, wir machen jedoch die Standardeinstellung zur sichereren Wahl. Wenn Sie eine Zahl in einer Tabelle haben möchten, sollten Sie absichtlich danach fragen.
KI-Rezeptionisten, Großhandelsrouten, virtuelle Nummern – aufgebaut auf einer Plattform mit transparenten Preisen und einem 24/7-NOC.