Pendant trois mois, nous avons suivi chaque appel traité par l'IA – par langue, par accent, par type d'appel – et évalué la transcription par rapport à un examinateur humain. Les chiffres de précision étaient meilleurs que ce à quoi nous nous attendions. Les modes de défaillance étaient plus intéressants.
La plupart des chiffres sur la « précision de l’IA » que vous lisez dans les textes marketing n’ont aucun sens. Ils comparent un modèle sur un ensemble de données propres, évaluent l'ensemble de données par rapport à lui-même et produisent un chiffre qui n'a presque rien à voir avec les performances du système un mardi après-midi lorsqu'un client appelle depuis un entrepôt bruyant et pose trois questions à la fois.
Nous voulions un numéro qui signifie quelque chose. Ainsi, pendant trois mois entre janvier et mars 2026, chaque appel traité par notre réceptionniste IA sur l’ensemble de la flotte de production – 8 427 appels au total – a été transcrit, noté par l’IA en temps réel, puis réévalué de manière indépendante par un examinateur humain qui n’a jamais vu le verdict de l’IA.
Nous avons suivi la langue, l'accent (si identifiable), le type d'appel, l'heure de la journée, la durée et le chemin spécifique emprunté par la conversation.
Il ne s’agissait pas de publier un chiffre flatteur. Le but était de trouver les appels pour lesquels l'IA pensait avoir réussi et s'était trompé, ainsi que les appels pour lesquels l'IA avait véritablement résolu le problème du client mais que nos mesures internes l'avaient marqué comme un échec. Les deux classes étaient plus grandes que prévu.
Il y avait trois règles. Premièrement, pas de sélection : tous les appels au cours de la période étaient éligibles, y compris les 47 appels qui ont échoué en cours de conversation et les 312 qui ont été transférés à un humain dans les 15 premières secondes. Deuxièmement, les évaluateurs humains étaient aveugles à l'auto-évaluation de l'IA : ils ont évalué la transcription par rapport à l'intention déclarée du client, et non par rapport à ce que l'IA prétendait avoir fait.
Troisièmement, la rubrique a été publiée avant que les données ne soient examinées, pour nous empêcher de redéfinir discrètement le « succès » une fois les chiffres connus.
Chaque appel a été noté sur trois dimensions indépendantes :
Un appel n'était considéré comme une « victoire » que s'il répondait aux trois critères : intention correcte, tâche terminée, score d'hygiène de 4 ou 5. La troisième porte est celle qui éliminait discrètement les appels que nous aurions autrement qualifiés de succès.
Sur l’ensemble des 8 427 appels, l’IA a franchi les trois portes. 91.4% d'appels. Ce nombre était plus élevé que ce que nous avions prévu en interne : la plupart d’entre nous avaient des paris compris entre 85 et 88 %.
L’écart entre notre prédiction et le résultat ne signifie pas que le modèle s’améliore par rapport à ce à quoi nous nous attendions ; c'était que notre intuition était façonnée par les appels dont nous nous souvenions, qui étaient de manière disproportionnée les mauvais.
Répartis par type d'appel, l'écart est significatif :
Les numéros de plaintes et de problèmes multiples sont ceux sur lesquels nous nous sommes concentrés. Un taux de 96 % sur la prise de rendez-vous est ce que nous expédions pour remporter des offres ; un numéro de 72 % sur les appels multi-numéros est ce que nous expédions pour les conserver.
Nous opérons dans 32 langues et nous publions un seul chiffre de précision par langue. L'écart global entre notre meilleure langue (anglais-américain) et notre langue la moins prise en charge (vietnamien) était de 4,1 points de pourcentage – plus étroit que prévu et plus étroit que ce que nous avons vu dans les références universitaires publiées.
Mais les scores linguistiques globaux cachent la partie du problème qui compte réellement : la variance d’accent au sein d’une seule langue. Les appels en anglais traités aux États-Unis ont obtenu un taux de 92,7 %. Les appels en anglais provenant de clients indiens anglophones ont obtenu un taux de 91,3 %, ce qui se situe bien dans le bruit. Appels en anglais de fortement régional Les anglophones écossais ont obtenu un score de 83,4 %. Il s'agit d'un écart de 9 points, et il se situe entièrement dans la colonne intitulée « Anglais ».
Le fait n’est pas que notre modèle soit mauvais en anglais écossais. Le fait est que publier un numéro par langue, tout en laissant la variance d’accent non mesurée, est un moyen de masquer les appels sur lesquels votre IA échoue. Nous signalons désormais les écarts d'accent en interne et nous prévoyons de les publier en externe d'ici deux trimestres.
Lorsque nous avons regroupé les 723 appels manqués (8,6 % de l'ensemble de données), cinq modes de défaillance représentaient 81 % d'entre eux. Aucun de ces éléments ne surprendra quiconque a déjà livré une IA vocale, mais les poids relatifs nous ont surpris.
L'appelant a deux intentions ou plus et l'IA s'engage sur la première avant d'avoir fini d'énoncer la seconde. "Je veux reprogrammer mon rendez-vous et vendez-vous également le modèle X-100" est exactement le genre d'entrée qui détruit l'état de conversation.
L'appelant fait référence à quelque chose qui a été dit plus tôt dans la conversation et que l'IA n'a pas stocké comme contexte : un nom, un prix, une date. Il s’agit du mode de défaillance auquel la fenêtre contextuelle de nouvelle génération répond le plus directement.
Échecs des points de terminaison. L'IA commence à parler, l'appelant parle dessus, l'IA entend sa propre voix mélangée à celle de l'appelant et produit une transcription qui manque la moitié de l'entrée.
L'appelant dicte un numéro de téléphone ou une adresse. L'IA le relit. L'appelant corrige un chiffre. L'IA met à jour le mauvais chiffre. Il s'agit d'un problème réparable à 100 % grâce à une invite de confirmation de données structurées, et nous en avons expédié une en février.
L'IA identifie correctement qu'elle ne peut pas résoudre l'appel et les transferts, mais le routage du transfert l'envoie dans la mauvaise file d'attente. Il ne s’agit pas vraiment d’un échec de l’IA ; c’est un échec du plan de numérotation que l’IA expose.
Trois modifications apportées sont directement issues de l'étude et une quatrième est en cours de développement. Nous avons essayé de fournir le correctif le plus efficace par mode de défaillance plutôt que le plus intéressant sur le plan académique.
Le quatrième changement – un tampon de contexte par appel plus riche qui gère la suppression de contexte implicite – est le plus complexe des quatre, et il est testé en mode fantôme sur un ensemble d'appels suspendu avant sa mise en ligne.
Une petite constatation qui mérite d’être mentionnée : les évaluateurs humains, malgré une rubrique publiée, ont dérivé au cours des trois mois. Au cours du premier mois, les évaluateurs ont marqué 87 % des appels comme réussis. Au cours du troisième mois, les mêmes évaluateurs, notant une deuxième fois les appels tirés au hasard du premier mois, ont marqué 91 % de réussite. Les transcriptions n'avaient pas changé.
Il ne s’agissait pas d’une dérive de mauvaise foi ; c'était la familiarité. Au fur et à mesure que les évaluateurs se sont habitués à la formulation de l’IA, ils sont devenus plus généreux sur la dimension de l’hygiène des conversations. Nous avons détecté ce problème en réévaluant un échantillon de 5 % des appels du premier mois au cours du troisième mois, et nous avons corrigé le numéro du titre en conséquence. Les 91,4 % indiqués ci-dessus sont le chiffre corrigé de la dérive. Le chiffre brut était de 92,1 %.
Si un fournisseur publie un chiffre de précision sans décrire la manière dont il a contrôlé la dérive de la niveleuse humaine, le chiffre est suspect par défaut. Nous n’avons pas inventé ce problème ; nous y avons juste prêté attention.
Trois choses, par ordre de priorité. Premièrement, la précision de la résolution des accents dans chaque langue majeure prise en charge – et un engagement public à le publier une fois la méthodologie stabilisée. Deuxièmement, la précision des résultats après l'appel : l'appelant a-t-il réellement reçu l'objet pour lequel il est venu, mesuré 7 et 30 jours après l'appel par rapprochement avec le système en aval du client.
Troisièmement, le coût par appel résolu qui combine précision et économie par minute – car une IA précise à 98 % qui coûte 1,40 $/min perd au profit d’une IA précise à 92 % qui coûte 0,18 $/min, pour presque toutes les entreprises réelles.
Nous publierons la prochaine série de chiffres au troisième trimestre. S’ils montrent une régression, nous le publierons également. Le but de mesurer ces choses n’est pas de trouver un graphique flatteur ; c'est pour trouver les appels que nous recevons encore mal.
Réceptionnistes IA, itinéraires de vente en gros, numéros virtuels — construits sur une seule plateforme avec une tarification transparente et un NOC 24h/24 et 7j/7.