Per tre mesi abbiamo monitorato ogni chiamata gestita dall’intelligenza artificiale – per lingua, accento, tipo di chiamata – e abbiamo valutato la trascrizione rispetto a un revisore umano. I numeri relativi alla precisione erano migliori di quanto ci aspettassimo. Le modalità di fallimento erano più interessanti.
La maggior parte dei numeri relativi alla "precisione dell'intelligenza artificiale" che leggi nei testi di marketing sono silenziosamente privi di significato. Confrontano un modello su un set di dati pulito, valutano il set di dati rispetto a se stesso e producono un numero che non ha quasi nulla a che fare con le prestazioni del sistema un martedì pomeriggio quando un cliente chiama da un magazzino rumoroso e fa tre domande contemporaneamente.
Volevamo un numero che significasse qualcosa. Pertanto, per tre mesi tra gennaio e marzo 2026, ogni chiamata gestita dal nostro receptionist AI in tutto il parco di produzione – 8.427 chiamate in totale – è stata trascritta, valutata dall’IA in tempo reale, quindi riclassificata in modo indipendente da un revisore umano che non ha mai visto il verdetto dell’IA.
Abbiamo monitorato la lingua, l'accento (dove identificabile), il tipo di chiamata, l'ora del giorno, la durata e il percorso specifico seguito dalla conversazione.
Il punto non era pubblicare un numero lusinghiero. Il punto era trovare le chiamate in cui l'IA pensava di aver avuto successo e si sbagliava, e le chiamate in cui l'IA aveva davvero risolto il problema del cliente ma i nostri parametri interni l'avevano contrassegnato come un fallimento. Entrambe le classi erano più grandi di quanto ci aspettassimo.
C'erano tre regole. Innanzitutto, nessuna scelta selettiva: ogni chiamata nel periodo era idonea, comprese le 47 chiamate che si sono interrotte nel bel mezzo della conversazione e le 312 che sono state trasferite a un essere umano entro i primi 15 secondi. In secondo luogo, i revisori umani erano ciechi nei confronti dell'autovalutazione dell'IA: valutavano la trascrizione rispetto all'intento dichiarato del cliente, non rispetto a ciò che l'IA affermava di aver fatto.
In terzo luogo, la rubrica è stata pubblicata prima che venissero esaminati i dati, per impedirci di ridefinire silenziosamente il "successo" una volta arrivati i numeri.
Ad ogni chiamata è stato assegnato un punteggio su tre dimensioni indipendenti:
Una chiamata veniva conteggiata come una "vittoria" solo se riusciva a risolverli tutti e tre: intento corretto, compito completo, punteggio di igiene di 4 o 5. Il terzo cancello è quello che eliminava silenziosamente le chiamate che altrimenti avremmo chiamato successi.
Nell’intero set di dati di 8.427 chiamate, l’intelligenza artificiale ha superato tutti e tre i cancelli 91.4% di chiamate. Quel numero era più alto di quanto avevamo previsto internamente: la maggior parte di noi aveva scommesse comprese tra l'85 e l'88%.
Il divario tra la nostra previsione e il risultato non è stato un modello migliore di quanto ci aspettassimo; era che la nostra intuizione veniva modellata dalle chiamate che ricordavamo, che erano sproporzionatamente quelle cattive.
Suddivisa per tipologia di chiamata, la varianza è stata significativa:
I numeri del reclamo e del multitema sono quelli su cui ci siamo concentrati. Un numero del 96% sulla prenotazione dell'appuntamento è ciò che spediamo per vincere affari; un numero del 72% sulle chiamate multi-emissione è ciò che spediamo per mantenerle.
Operiamo in 32 lingue e pubblichiamo un unico numero di precisione per lingua. Il divario aggregato tra la nostra lingua migliore (inglese-americano) e la nostra peggiore lingua supportata (vietnamita) è stato di 4,1 punti percentuali: più ristretto di quanto ci aspettassimo e più ristretto di quanto abbiamo visto riportato nei benchmark accademici pubblicati.
Ma i punteggi linguistici aggregati nascondono la parte del problema che conta davvero: la variazione dell’accento all’interno di una singola lingua. Le chiamate in inglese gestite negli Stati Uniti hanno ottenuto il 92,7%. Le chiamate in inglese da parte di clienti di lingua indiana-inglese hanno ottenuto un punteggio del 91,3%, ben al di sotto del rumore. Chiamate in inglese da fortemente regionale Gli anglofoni scozzesi hanno ottenuto l'83,4%. Si tratta di un divario di 9 punti e si trova interamente all'interno della colonna denominata "Inglese".
Il punto non è che il nostro modello sia pessimo con l’inglese scozzese. Il punto è che pubblicare un numero per lingua, lasciando non misurata la varianza dell’accento, è un modo per nascondere le chiamate su cui la tua intelligenza artificiale non riesce. Ora riportiamo la variazione dell'accento internamente e prevediamo di pubblicarlo esternamente entro due trimestri.
Quando abbiamo raggruppato le 723 chiamate perse (8,6% del set di dati), cinque modalità di errore rappresentavano l’81% di esse. Nessuno di questi sorprenderà nessuno che abbia mai distribuito l'intelligenza artificiale vocale in precedenza, ma i pesi relativi ci hanno sorpreso.
Il chiamante ha due o più intenti e l'IA si impegna a realizzare il primo prima di aver finito di dichiarare il secondo. "Voglio riprogrammare il mio appuntamento e vendi anche il modello X-100" è esattamente il tipo di input che distrugge lo stato della conversazione.
Il chiamante fa riferimento a qualcosa detto in precedenza nella conversazione che l'intelligenza artificiale non ha memorizzato come contesto: un nome, un prezzo, una data. Questa è la modalità di errore che la finestra di contesto di nuova generazione affronta più direttamente.
Endpointing dei fallimenti. L'IA inizia a parlare, il chiamante ci parla sopra, l'IA sente la propria voce mescolata con quella del chiamante e produce una trascrizione a cui manca metà dell'input.
Il chiamante detta un numero di telefono o un indirizzo. L'intelligenza artificiale lo rilegge. Il chiamante corregge una cifra. L'intelligenza artificiale aggiorna la cifra sbagliata. Si tratta di un problema risolvibile al 100% con una richiesta di conferma dei dati strutturati e ne abbiamo spedito uno a febbraio.
L'intelligenza artificiale identifica correttamente che non può risolvere la chiamata e i trasferimenti, ma l'instradamento del trasferimento lo invia alla coda sbagliata. Questo non è realmente un fallimento dell'IA; si tratta di un errore del dial plan rivelato dall'intelligenza artificiale.
Tre modifiche apportate sono derivate direttamente dallo studio e una quarta è in fase di sviluppo. Abbiamo cercato di fornire la soluzione con il maggiore effetto leva per modalità di errore piuttosto che quella più interessante dal punto di vista accademico.
La quarta modifica, un buffer di contesto per chiamata più ricco che affronta l'eliminazione del contesto implicito, è la più complessa delle quattro e viene testata in modalità shadow rispetto a una serie di chiamate sospese prima che diventi attiva.
Una piccola scoperta che vale la pena menzionare: i revisori umani, nonostante una rubrica pubblicata, sono andati alla deriva nel corso dei tre mesi. Nel primo mese, i revisori hanno contrassegnato come riuscite l'87% delle chiamate. Nel terzo mese, gli stessi revisori, valutando per la seconda volta le chiamate estratte casualmente del primo mese, hanno valutato il 91% delle chiamate di successo. Le trascrizioni non erano cambiate.
La deriva non era malafede; era familiarità. Man mano che i revisori si abituavano al linguaggio dell'intelligenza artificiale, diventavano più generosi riguardo alla dimensione della conversazione e dell'igiene. Abbiamo individuato questo problema rivalutando un campione del 5% delle chiamate del primo mese nel terzo mese e abbiamo corretto il numero del titolo. Il 91,4% riportato sopra è la cifra corretta per la deriva. Il numero grezzo era del 92,1%.
Se un fornitore pubblica un numero di precisione senza descrivere come ha controllato lo scostamento della livellatrice umana, il numero è sospetto per impostazione predefinita. Non abbiamo inventato questo problema; abbiamo semplicemente prestato attenzione ad esso.
Tre cose, in ordine di priorità. In primo luogo, l’accuratezza della risoluzione degli accenti all’interno di ciascuna delle principali lingue supportate e l’impegno pubblico a pubblicarlo una volta che la metodologia si sarà stabilizzata. In secondo luogo, l'accuratezza dell'esito post-chiamata: il chiamante ha effettivamente ricevuto ciò per cui era venuto, misurata 7 e 30 giorni dopo la chiamata riconciliandosi con il sistema a valle del cliente.
In terzo luogo, il costo per numero di chiamata risolta che combina l’accuratezza con l’economia al minuto, perché un’intelligenza artificiale accurata al 98% che costa 1,40 dollari al minuto perde contro un’intelligenza artificiale accurata al 92% che costa 0,18 dollari al minuto, per quasi tutte le attività reali.
Pubblicheremo la prossima serie di numeri nel terzo trimestre. Se mostreranno una regressione, pubblicheremo anche quello. Lo scopo di misurare queste cose non è trovare un grafico lusinghiero; è trovare le chiamate che continuiamo a sbagliare.
Receptionist IA, percorsi all'ingrosso, numeri virtuali: tutto su un'unica piattaforma con prezzi trasparenti e NOC 24 ore su 24, 7 giorni su 7.