Il campionamento casuale non individua le chiamate che contano davvero. Abbiamo ricostruito la console di supervisione attorno a un punteggio di rischio e abbiamo smesso di fingere che il QA fosse un gioco di numeri.
Per due decenni il settore dei contact center ha concordato un processo: un supervisore campionava casualmente una piccola percentuale di chiamate registrate – in genere da 2 a 5 per agente a settimana – le valutava rispetto a una rubrica di 30 righe e raccoglieva i punteggi in un rapporto di coaching. L’intero settore è stato costruito attorno a questa pratica. I venditori vendevano scorecard. I revisori hanno convalidato le rubriche. Le conferenze avevano delle tracce per questo.
I conti non hanno mai funzionato. Un contact center da 1.000 agenti che gestisce 200.000 chiamate a settimana, campionando il 2% per agente, ti dà 40.000 chiamate con punteggio: il che sembra molto finché non ti rendi conto che il campione è uniformemente casuale tra chiamate che sono al 99% benigne.
Campionare 40.000 conversazioni casuali per trovare le 60 chiamate in cui l'agente ha commesso violazioni di conformità è la definizione di un ago in un pagliaio. Quando il pagliaio è stato risolto, l'agente è andato avanti, il cliente si è agitato e la violazione si è aggravata.
Lo scopo del QA non è mai stato quello di valutare la chiamata media. Si trattava di trovare le chiamate che contavano: i fallimenti, i salvataggi, i casi limite, le conversazioni in cui l'agente ha fatto qualcosa di eccezionale o allarmante. Il campionamento casuale è strutturalmente incapace di trovarne qualcuno.
Due cose sono cambiate abbastanza da rendere evidentemente rotto il vecchio modello. Innanzitutto, la qualità della trascrizione ha superato la soglia dell’utilità: nella maggior parte delle lingue principali, le trascrizioni sono ora sufficientemente affidabili da poter essere apprezzate dal software, non solo dall’orecchio umano.
In secondo luogo, i modelli linguistici di grandi dimensioni sono diventati abbastanza bravi nella classificazione supervisionata che un modello addestrato su misura può ottenere una chiamata su 30 dimensioni in 4 secondi per meno di un centesimo.
Insieme, questi fattori hanno fatto sì che, per la prima volta nella storia del contact center, ogni singola chiamata potesse essere valutata rispetto alla rubrica: non il 2%, non il 5%, ma il 100%. Una volta assegnato il punteggio a ogni chiamata, la domanda smette di essere "quali chiamate campioniamo?" e diventa "quali chiamate meritano l'attenzione di un supervisore umano?"
Questa è la domanda che vale la pena risolvere, ed è un problema di classificazione, non di campionamento.
Assegniamo un punteggio a ogni chiamata in base a tre dimensioni indipendenti, quindi le combiniamo in un'unica classifica che il supervisore vede nella propria console.
Le tre dimensioni non hanno lo stesso peso e i pesi non sono gli stessi per tutti i clienti. Un operatore di recupero crediti valuta maggiormente il rischio di conformità. Un team di supporto SaaS aziendale high-touch pondera il rischio di risultato. Un team di onboarding che si impegna molto nella formazione valuta il valore del coaching. I pesi sono esposti nelle impostazioni del supervisore e impostiamo valori predefiniti ragionevoli per settore.
La console ha un aspetto deliberatamente diverso dalla vecchia interfaccia utente "coda di campioni casuali". Invece di un elenco impaginato delle chiamate recenti, si tratta di un'unica coda classificata, ordinata in base al punteggio di rischio combinato, che si aggiorna ogni due minuti. In cima alla coda ci sono circa 20 chiamate che richiedono attenzione oggi. Tutto quello che c'è sotto è una lunga coda.
Ogni scheda telefonica riporta i tre sottopunteggi, un riepilogo di 90 secondi dell'argomento della chiamata e gli snippet specifici contrassegnati dal modello. Un supervisore può ascoltare lo snippet senza ascoltare l'intera chiamata. Se lo snippet rappresenta l'intera storia, e nella maggior parte dei casi lo è, il supervisore conferma o rifiuta la segnalazione in 30 secondi e va avanti.
Il QA a campione casuale richiedeva in media 8 minuti per chiamata. La coda classificata dura in media 2 minuti e 40 secondi. Il costo del QA per chiamata è diminuito. La copertura è passata dal 2% al 100%. Il supervisore dedica il proprio tempo alle chiamate che hanno effettivamente spostato la metrica.
Quando abbiamo mostrato la coda classificata ai responsabili del controllo qualità presso i clienti dei partner di progettazione, sono emerse costantemente tre obiezioni.
Vero in astratto; per lo più falso nella pratica. Al modello mancano cose umane specialista catturerebbe: un revisore della conformità che esamina la stessa chiamata potrebbe trovare sottigliezze che il modello non segnala. Ma il paragone non è contro uno specialista. È contro un supervisore che campiona casualmente il 2% delle chiamate. Il modello recensisce il 100% e segnala l'ovvio 5%. Lo specialista esamina il 5%.
La copertura netta è di gran lunga migliore rispetto al vecchio sistema.
Probabilmente vero. Qualsiasi metrica che attiri l'attenzione viene presa in giro. La difesa è duplice: il punteggio è multidimensionale, quindi giocare su un asse ti spinge su un altro; e il punteggio non rappresenta la valutazione delle prestazioni dell'agente. Il punteggio è un segnale di triage per il supervisore. La revisione delle prestazioni è ciò che il supervisore conclude dopo aver ascoltato la chiamata vera e propria.
Vendiamo il punteggio come una coda, non come un tabellone segnapunti.
Anche questo è vero, e dovremmo essere onesti al riguardo. Il supervisore di un contact center con code classificate dedica meno tempo all'assegnazione del punteggio alle chiamate rispetto a una rubrica di 30 righe e più tempo al coaching, all'escalation e all'intervento. I supervisori a cui piaceva il vecchio lavoro – la parte metodica e basata su scorecard – non sono necessariamente entusiasti di quello nuovo.
Ne abbiamo parlato apertamente con i leader delle operazioni dei partner di progettazione prima del lancio. Si tratta di un cambiamento del flusso di lavoro, non solo di un cambio di strumento.
Tra i quattro partner di progettazione che hanno gestito la coda classificata esclusivamente per 90 giorni, i team di supervisori hanno intensificato 4,7 volte più chiamate a settimana alla fidelizzazione o alla conformità rispetto al campionamento casuale. L'aumento non è stato un effetto di "maggiore controllo"; si trattava quasi interamente di chiamate che il campionamento casuale aveva strutturalmente mancato.
Un cliente si è accorto di una deviazione del copione del recupero crediti (un singolo agente aveva iniziato a utilizzare un linguaggio che oltrepassava i limiti FDCPA, in circa il 9% delle sue chiamate) e che il campionamento casuale non era emerso per 11 settimane. La coda classificata è emersa entro 48 ore dall'inizio della deriva, perché il punteggio di rischio di conformità su quelle chiamate specifiche è salito di due deviazioni standard sopra la linea di base dell'agente.
Un altro cliente ha scoperto che gli agenti che il sistema di campionamento casuale aveva contrassegnato come con le prestazioni più basse non erano, in realtà, quelli con le prestazioni più basse: erano semplicemente quelli più rumorosi. La coda classificata, classificata in base al rischio di esito, ha identificato due agenti silenziosi ma costantemente sottoperformanti le cui chiamate erano state campionate allo stesso ritmo di tutti gli altri ed erano finite nella pila "media".
Tre cose, apposta.
Non assegneremo un punteggio automatico agli agenti sull'output della coda. Il punteggio è un segnale di triage. Le valutazioni delle prestazioni degli agenti passano ancora attraverso un supervisore. Stiamo deliberatamente mantenendo l’essere umano nel giro, non perché il modello non possa farlo, ma perché abbiamo visto un numero sufficiente di sistemi con punteggio automatico erodere la fiducia da voler evitare del tutto lo schema.
Non gli mostreremo il punteggio in tempo reale dell'agente durante la chiamata. Esiste una scuola di pensiero secondo cui gli agenti dovrebbero vedere i propri punteggi di coaching in tempo reale. C’è una scuola di pensiero più forte che dice che così facendo si degrada la chiamata. Noi siamo dalla parte della seconda scuola.
Per impostazione predefinita, non esporteremo il punteggio nei sistemi di gestione delle prestazioni. I clienti che desiderano collegare il punteggio a uno strumento HR separato possono farlo con una configurazione esplicita, ma noi rendiamo quella predefinita la scelta più sicura. Se desideri un numero su un foglio di calcolo, dovresti richiederlo apposta.
Receptionist IA, percorsi all'ingrosso, numeri virtuali: tutto su un'unica piattaforma con prezzi trasparenti e NOC 24 ore su 24, 7 giorni su 7.