Fallet för att rangordna samtal, inte att sampla dem

Introduktion

I två decennier kom kontaktcenterbranschen överens om en process: en handledare skulle slumpmässigt ta ett urval av en liten andel av inspelade samtal – vanligtvis 2 till 5 per agent per vecka – poängsätta dem mot en 30-rads rubrik och rulla upp poängen till en coachningsrapport. Hela branschen byggdes upp kring denna praxis. Försäljare sålde styrkort. Revisorer validerade rubriker. Konferenser hade spår för det.

Matematiken fungerade aldrig. Ett kontaktcenter med 1 000 agenter som hanterar 200 000 samtal i veckan och samplar 2 % per agent, ger dig 40 000 poängtal – vilket låter mycket tills du inser att urvalet är enhetligt slumpmässigt över samtal som är 99 % godartade.

Att ta ett urval av 40 000 slumpmässiga konversationer för att hitta de 60 samtal där agenten begick överträdelser av efterlevnad är definitionen av en nål i en höstack. När höstacken har sorterats har agenten gått vidare, kunden har tjatat och överträdelsen har förvärrats.

Poängen med QA var aldrig att få ett genomsnittligt samtal. Det var att hitta samtalen som gällde - misslyckandena, räddningarna, kantfallen, samtalen där agenten gjorde något exceptionellt eller alarmerande. Stickprov är strukturellt dåligt på att hitta någon av dessa.

Vad har förändrats under de senaste 18 månaderna

Två saker förändrades tillräckligt för att göra den gamla modellen uppenbarligen trasig. För det första passerade transkriptionskvaliteten en användbarhetströskel – över de flesta större språk är transkriptioner nu tillräckligt tillförlitliga för att göra poäng med programvara, inte bara med mänskliga öron.

För det andra blev stora språkmodeller tillräckligt bra vid övervakad klassificering att en specialutbildad modell kan få ett anrop på 30 dimensioner på 4 sekunder för mindre än en krona.

Tillsammans innebar dessa att för första gången i kontaktcentrets historia kunde varje enskilt samtal poängsättas mot rubriken - inte 2 %, inte 5 %, utan 100 %. När varje samtal har fått poäng slutar frågan att vara "vilka samtal tar vi prov?" och blir "vilka samtal förtjänar en mänsklig handledares uppmärksamhet?"

Det är frågan värd att lösa, och det är ett rangordningsproblem, inte ett urvalsproblem.

Vad ingår i riskpoängen

Vi poängsätter varje samtal på tre oberoende dimensioner och kombinerar dem sedan till en enda rang som handledaren ser i sin konsol.

• Efterlevnadsrisk — innehöll samtalet språk som utlöser regulatorisk exponering? Mini-Miranda, TCPA-samtycke, FDCPA-gränser för indrivning av skulder, skyddade hälsoavslöjanden. Den här dimensionen är binär - de flesta anrop får nästan noll, en liten svans får höga poäng.
• Utfallsrisk — är det troligt att den här kunden kommer att säga upp sig, klaga eller eskalera som ett resultat av detta samtal? Kombinerar sentimentbana, olösta problemsignaler, uttryckligt klagomålsspråk och kundens kontonivåvärde.
• Coachningsvärde — skulle en handledare som tittar på detta samtal lära sig något de kan lära ut? Coachsamtal av hög rang är de ovanliga räddningarna, de rena överlämningarna och de kontrollerade nedtrappningarna. De är inte misslyckanden; de är exemplar.

De tre dimensionerna vägs inte lika och vikterna är inte desamma för kunderna. En inkassooperatör väger efterlevnadsrisken tyngst. Ett högkvalitativt SaaS-supportteam för företag väger resultatrisken. Ett träningstungt onboardinglag väger coachningsvärde. Vikterna är exponerade i arbetsledarens inställningar och vi sätter vettiga standardvärden per bransch.

Övervakarkonsolen: en rankad kö

Konsolen ser medvetet annorlunda ut från det gamla gränssnittet för "slumpmässigt provkö". Istället för en sidnumrerad lista över de senaste samtalen är det en enda rankad kö, sorterad efter kombinerad riskpoäng, som uppdateras varannan minut. Överst i kön är det 20-tal samtal som behöver uppmärksammas idag. Allt nedanför är en lång svans.

Varje samtalskort innehåller de tre underpoängen, en 90-sekunders sammanfattning av vad samtalet handlade om och de specifika utdrag som modellen flaggade. En handledare kan lyssna på utdraget utan att lyssna på hela samtalet. Om utdraget är hela historien – och för det mesta är det så – bekräftar eller förkastar handledaren flaggan på 30 sekunder och går vidare.

Slumpmässigt urval QA brukade ta 8 minuter per samtal i genomsnitt. Den rankade kön är i genomsnitt 2 minuter 40 sekunder. Kostnaden för QA per samtal har sjunkit. Täckningen har gått från 2% till 100%. Handledaren spenderar sin tid på samtalen som faktiskt flyttade måtten.

De invändningar vi hörde

När vi visade den rankade kön för QA-ledare hos designpartnerkunderna kom tre invändningar konsekvent upp.

Invändning 1: "Modellen kommer att sakna saker som en människa skulle fånga."

Sant i det abstrakta; mestadels falsk i praktiken. Modellen saknar saker som en människa specialist skulle fånga — en efterlevnadsrevisor som granskar samma samtal kan hitta finesser som modellen inte flaggar. Men jämförelsen är inte mot en specialist. Det är emot att en handledare slumpmässigt tar 2 % av samtalen. Modellen recenserar 100% och flaggar för de uppenbara 5%. Specialisten granskar 5%.

Nettäckningen är mycket bättre än det gamla systemet.

Invändning 2: "Agenterna kommer att spela poängen."

Förmodligen sant. Alla mätvärden som får uppmärksamhet spelas. Försvaret är tvådelat: poängen är flerdimensionell, så spel på en axel driver dig upp på en annan; och poängen är inte agentens prestationsgranskning. Poängen är en triagesignal för handledaren. Prestationsgenomgången är vad handledaren avslutar efter att de lyssnat på själva samtalet.

Vi säljer poängen som en kö, inte en resultattavla.

Invändning 3: "Det förändrar arbetsledarens jobb."

Också sant, och vi borde vara ärliga om det. Handledaren för ett kontaktcenter i rankad kö lägger mindre tid på att poängsätta samtal mot en 30-rads rubrik och mer tid på att coacha, eskalera och ingripa. De arbetsledare som gillade det gamla jobbet – den metodiska, styrkortsdrivna delen av det – är inte nödvändigtvis förtjusta i det nya.

Vi pratade öppet med ledare för designpartneroperationer om detta innan lanseringen. Det är ett arbetsflödesbyte, inte bara ett verktygsbyte.

Vad det nya systemet hittade under de första 90 dagarna

Över de fyra designpartnerna som körde den rankade kön uteslutande i 90 dagar, eskalerade arbetsledarteamen 4,7 gånger fler samtal per vecka till kvarhållning eller efterlevnad än de hade under slumpmässigt urval. Ökningen var inte en "mer granskning" effekt; det var nästan uteslutande samtal som slumpmässigt hade missat.

En kund fångade ett inkassoskript – en enskild agent hade börjat använda språk som passerade en FDCPA-gräns, på ungefär 9 % av deras samtal – att slumpmässigt urval inte hade dykt upp på 11 veckor. Den rankade kön dök upp inom 48 timmar efter att driften startade, eftersom efterlevnadsriskpoängen för dessa specifika samtal hoppade två standardavvikelser över agentens baslinje.

En annan kund fann att de agenter som slumpmässigt urvalssystemet hade flaggat som de lägst presterande faktiskt inte var de lägst presterande - de var bara de mest högljudda. Den rankade kön, som betygsattes baserat på utfallsrisk, identifierade två tysta men konsekvent underpresterande agenter vars samtal hade samplats i samma takt som alla andra och hade landat i den "genomsnittliga" högen.

Vad vi medvetet kommer inte att göra med poängen

Tre saker, med flit.

Vi kommer inte automatiskt poängsätta agenter på köns utdata. Poängen är en triagesignal. Agentprestationsbetyg går fortfarande via en handledare. Vi håller medvetet människan i ögat, inte för att modellen inte kan göra det, utan för att vi har sett att tillräckligt många system med automatiska poäng urholkar förtroendet för att vilja undvika mönstret helt.

Vi kommer inte att presentera agentens realtidspoäng för agenten under samtalet. Det finns en tankeskola som säger att agenter ska se sina egna tränarresultat i realtid. Det finns en starkare tankeskola som säger att det försämrar samtalet. Vi står på andra skolans sida.

Vi kommer inte att exportera poängen till prestationshanteringssystem som standard. Kunder som vill koppla poängen till ett separat HR-verktyg kan göra det med explicit konfiguration, men vi gör standard till det säkrare valet. Om du vill ha en siffra på ett kalkylblad bör du behöva be om det med flit.