Willekeurige steekproeven missen de oproepen die er echt toe doen. We hebben de supervisorconsole opnieuw opgebouwd rond een risicoscore en zijn gestopt met te doen alsof QA een getallenspel was.
Twintig jaar lang was de contactcenterbranche het eens over een proces: een supervisor nam willekeurig een steekproef van een klein percentage van de opgenomen gesprekken (meestal 2 tot 5 per agent per week) en scoorde deze op basis van een rubriek van 30 rijen, en voegde de scores samen in een coachingsrapport. De hele industrie is rond deze praktijk opgebouwd. Verkopers verkochten scorekaarten. Auditors hebben de rubrieken gevalideerd. Conferenties hadden er tracks voor.
De wiskunde heeft nooit gewerkt. Een contactcentrum met 1.000 agenten dat 200.000 oproepen per week afhandelt en 2% per agent bemonstert, levert u 40.000 gescoorde oproepen op – wat veel klinkt totdat u zich realiseert dat de steekproef gelijkmatig willekeurig is over de oproepen die voor 99% goedaardig zijn.
Het bemonsteren van 40.000 willekeurige gesprekken om de 60 oproepen te vinden waarin de agent nalevingsovertredingen heeft begaan, is de definitie van een speld in een hooiberg. Tegen de tijd dat de hooiberg is gesorteerd, is de agent verder gegaan, heeft de klant gekarnd en is de overtreding nog groter geworden.
Het punt van QA was nooit om de gemiddelde call te scoren. Het was het vinden van de telefoontjes die er toe deden: de mislukkingen, de reddingen, de randgevallen, de gesprekken waarin de agent iets uitzonderlijks of alarmerends deed. Willekeurige steekproeven zijn structureel slecht in het vinden van deze.
Er veranderden twee dingen genoeg om het oude model duidelijk kapot te maken. Ten eerste overschreed de transcriptiekwaliteit een bruikbaarheidsdrempel: in de meeste grote talen zijn transcripties nu betrouwbaar genoeg om met software te scoren, en niet alleen met menselijke oren.
Ten tweede zijn grote taalmodellen zo goed geworden in gecontroleerde classificatie dat een op maat getraind model in 4 seconden een oproep op 30 dimensies kan scoren voor minder dan een cent.
Samen betekende dit dat voor het eerst in de geschiedenis van contactcenters elk afzonderlijk gesprek kon worden beoordeeld op basis van de rubriek: niet 2%, niet 5%, maar 100%. Zodra elke oproep is gescoord, is de vraag niet langer "welke oproepen testen we?" en wordt "welke oproepen verdienen de aandacht van een menselijke supervisor?"
Dat is de vraag die de moeite waard is om op te lossen, en het is een rangschikkingsprobleem, geen steekproefprobleem.
We beoordelen elke oproep op drie onafhankelijke dimensies en combineren deze vervolgens tot één rang die de supervisor in zijn console ziet.
De drie dimensies worden niet gelijk gewogen en de gewichten zijn niet hetzelfde voor alle klanten. Een incassobureau weegt het compliancerisico het zwaarst. Een high-touch SaaS-ondersteuningsteam weegt de uitkomstrisico's af. Een onboardingteam dat zwaar traint, weegt de coachingwaarde zwaar. De gewichten worden zichtbaar in de toezichthouderinstellingen en we stellen verstandige standaardwaarden per branche vast.
De console ziet er opzettelijk anders uit dan de oude gebruikersinterface met "willekeurige voorbeeldwachtrij". In plaats van een gepagineerde lijst met recente oproepen is het een enkele gerangschikte wachtrij, gesorteerd op gecombineerde risicoscore, die elke twee minuten wordt vernieuwd. Bovenaan de wachtrij staan de ongeveer twintig oproepen die vandaag aandacht nodig hebben. Alles daaronder is een lange staart.
Elke belkaart bevat de drie subscores, een samenvatting van 90 seconden van waar het gesprek over ging, en de specifieke fragmenten die het model heeft gemarkeerd. Een supervisor kan naar het fragment luisteren zonder naar het volledige gesprek te luisteren. Als het fragment het hele verhaal is – en dat is meestal zo – bevestigt of verwerpt de supervisor de vlag binnen 30 seconden en gaat verder.
Willekeurige QA duurde gemiddeld 8 minuten per gesprek. De gerangschikte wachtrij duurt gemiddeld 2 minuten en 40 seconden. De kosten van QA per gesprek zijn gedaald. De dekking is van 2% naar 100% gegaan. De supervisor besteedt zijn tijd aan de oproepen die de metriek daadwerkelijk hebben verplaatst.
Toen we de gerangschikte wachtrij lieten zien aan QA-leiders bij de klanten van ontwerppartners, kwamen er consequent drie bezwaren naar voren.
Waar in abstracto; in de praktijk meestal onwaar. Het model mist dingen van een mens specialist zouden kunnen ontdekken – een compliance-auditor die dezelfde oproep beoordeelt, zou subtiliteiten kunnen ontdekken die het model niet signaleert. Maar de vergelijking gaat niet tegen een specialist. Het is tegen een supervisor die willekeurig 2% van de oproepen bemonstert. Het model beoordeelt 100% en markeert de voor de hand liggende 5%. De specialist beoordeelt de 5%.
De nettodekking is veel beter dan het oude systeem.
Waarschijnlijk waar. Elke statistiek die aandacht trekt, wordt bespeeld. De verdediging is tweeledig: de score is multidimensionaal, dus gamen op de ene as duwt je omhoog naar de andere; en de score is niet de prestatiebeoordeling van de agent. De score is een triagesignaal voor de begeleider. Het functioneringsgesprek is wat de supervisor concludeert nadat hij naar het daadwerkelijke gesprek heeft geluisterd.
Wij verkopen de partituur als wachtrij, niet als scorebord.
Ook waar, en daar moeten we eerlijk over zijn. De supervisor van een contactcentrum met gerangschikte wachtrijen besteedt minder tijd aan het beoordelen van oproepen in een rubriek van 30 rijen en meer tijd aan coachen, escaleren en ingrijpen. De supervisors die de oude baan leuk vonden – het methodische, scorecardgestuurde deel ervan – zijn niet noodzakelijkerwijs blij met de nieuwe.
We hebben hierover vóór de lancering openlijk gesproken met leiders van ontwerppartners. Het is een verandering van de workflow, niet alleen een verandering van gereedschap.
Bij de vier ontwerppartners die 90 dagen lang exclusief in de gerangschikte wachtrij stonden, escaleerden de supervisorteams 4,7x meer oproepen per week naar retentie of compliance dan bij willekeurige steekproeven. De stijging was geen "meer controle"-effect; het waren bijna uitsluitend oproepen die de willekeurige steekproef structureel had gemist.
Eén klant merkte dat er sprake was van een afwijkend incassoscript – een enkele agent was bij ongeveer 9% van zijn oproepen taal gaan gebruiken die de FDCPA-grens overschreed – en dat willekeurige steekproeven al elf weken niet aan de oppervlakte waren gekomen. De gerangschikte wachtrij verscheen binnen 48 uur nadat de drift was begonnen, omdat de compliance-risicoscore voor die specifieke oproepen twee standaardafwijkingen boven de basislijn van de agent lag.
Een andere klant ontdekte dat de agenten die door het willekeurige steekproefsysteem als de slechtst presterende waren aangemerkt, in feite niet de slechtst presterende waren, maar juist de luidste. De gerangschikte wachtrij, die werd beoordeeld op basis van het uitkomstrisico, identificeerde twee stille maar consistent slecht presterende agenten wier oproepen in hetzelfde tempo als alle anderen waren bemonsterd en op de 'gemiddelde' stapel waren beland.
Drie dingen, met opzet.
We zullen agenten niet automatisch een score geven op basis van de uitvoer van de wachtrij. De score is een triagesignaal. De prestatiebeoordelingen van agenten verlopen nog steeds via een supervisor. We houden bewust de mens op de hoogte, niet omdat het model dat niet kan, maar omdat we genoeg autoscore-systemen het vertrouwen hebben zien ondermijnen om het patroon volledig te willen vermijden.
We zullen de realtime score van de agent tijdens het gesprek niet aan de agent doorgeven. Er is een gedachtegang die zegt dat agenten hun eigen coachingscores in realtime moeten zien. Er is een sterkere denkrichting die zegt dat dit de roeping degradeert. Wij kiezen de kant van de tweede school.
We exporteren de score niet standaard naar prestatiemanagementsystemen. Klanten die de score in een afzonderlijke HR-tool willen overbrengen, kunnen dit doen met een expliciete configuratie, maar wij maken de standaard tot een veiligere keuze. Als je een nummer in een spreadsheet wilt hebben, moet je daar expres om vragen.
AI-receptionisten, groothandelsroutes, virtuele nummers – gebouwd op één platform met transparante prijzen en een 24/7 NOC.