Durante tres meses rastreamos cada llamada que manejaba la IA (por idioma, acento, tipo de llamada) y calificamos la transcripción frente a un revisor humano. Las cifras de precisión fueron mejores de lo que esperábamos. Los modos de falla fueron más interesantes.
La mayoría de los números de "precisión de la IA" que se leen en los textos de marketing no tienen ningún significado. Comparan un modelo con un conjunto de datos limpio, califican el conjunto de datos contra sí mismo y producen un número que casi no tiene nada que ver con el rendimiento del sistema un martes por la tarde cuando un cliente llama desde un almacén ruidoso y hace tres preguntas a la vez.
Queríamos un número que significara algo. Entonces, durante tres meses, entre enero y marzo de 2026, cada llamada que nuestra recepcionista de IA manejó en toda la flota de producción (8427 llamadas en total) fue transcrita, calificada por la IA en tiempo real y luego recalificada de forma independiente por un revisor humano que nunca vio el veredicto de la IA.
Realizamos un seguimiento del idioma, el acento (cuando sea identificable), el tipo de llamada, la hora del día, la duración y la ruta específica que tomó la conversación.
La cuestión no era publicar una cifra halagadora. El punto era encontrar las llamadas en las que la IA pensó que había tenido éxito y se equivocó, y las llamadas en las que la IA realmente había resuelto el problema del cliente pero nuestras métricas internas lo habían marcado como un error. Ambas clases eran más grandes de lo que esperábamos.
Había tres reglas. En primer lugar, no hubo selección: todas las llamadas durante el período fueron elegibles, incluidas las 47 llamadas que fallaron en medio de la conversación y las 312 que fueron transferidas a un humano dentro de los primeros 15 segundos. En segundo lugar, los revisores humanos estaban ciegos a la autoevaluación de la IA: calificaron la transcripción según la intención declarada del cliente, no según lo que la IA afirmó haber hecho.
En tercer lugar, la rúbrica se publicó antes de que se analizaran los datos, para evitar que redefiniésemos silenciosamente el "éxito" una vez que obtuviéramos las cifras.
Cada llamada se calificó en tres dimensiones independientes:
Una llamada sólo se contaba como una "victoria" si superaba los tres: intención correcta, tarea completa, puntuación de higiene de 4 o 5. La tercera puerta es la que elimina silenciosamente las llamadas que de otro modo habríamos llamado éxitos.
En todo el conjunto de datos de 8.427 llamadas, la IA borró las tres puertas 91.4% de llamadas. Ese número fue mayor de lo que predijimos internamente: la mayoría de nosotros teníamos apuestas en el rango del 85% al 88%.
La brecha entre nuestra predicción y el resultado no fue un modelo que mejorara de lo que esperábamos; era que nuestra intuición estaba siendo moldeada por las llamadas que recordábamos, que eran desproporcionadamente malas.
Desglosada por tipo de llamada, la variación fue significativa:
Nos centramos en los números de quejas y problemas múltiples. Un número del 96 % en la reserva de citas es lo que enviamos para ganar ofertas; un número del 72 % en llamadas de problemas múltiples es lo que enviamos para conservarlas.
Operamos en 32 idiomas y publicamos un único número de precisión por idioma. La brecha agregada entre nuestro mejor idioma (inglés-estadounidense) y nuestro idioma con peor apoyo (vietnamita) fue de 4,1 puntos porcentuales, más estrecha de lo que esperábamos y más estrecha de lo que hemos visto en los puntos de referencia académicos publicados.
Pero las puntuaciones agregadas del idioma ocultan la parte del problema que realmente importa: la variación del acento dentro de un solo idioma. Las llamadas en inglés atendidas en Estados Unidos obtuvieron una puntuación del 92,7%. Las llamadas en inglés de clientes indios de habla inglesa obtuvieron una puntuación del 91,3%, muy por dentro del ruido. llamadas en ingles desde fuertemente regional Los hablantes de inglés-escocés obtuvieron una puntuación del 83,4%. Esa es una brecha de 9 puntos y se encuentra completamente dentro de la columna denominada "Inglés".
La cuestión no es que nuestro modelo sea malo en inglés escocés. El punto es que publicar un número por idioma, sin medir la variación del acento, es una forma de ocultar las llamadas en las que su IA está fallando. Ahora informamos la variación del acento internamente y esperamos publicarla externamente dentro de dos trimestres.
Cuando agrupamos las 723 llamadas perdidas (8,6% del conjunto de datos), cinco modos de falla representaron el 81% de ellas. Ninguno de estos sorprenderá a nadie que haya lanzado IA de voz antes, pero los pesos relativos sí nos sorprendieron.
La persona que llama tiene dos o más intenciones y la IA se compromete con la primera antes de haber terminado de indicar la segunda. "Quiero reprogramar mi cita y también venden el modelo X-100" es exactamente el tipo de entrada que arruina el estado de la conversación.
La persona que llama hace referencia a algo dicho anteriormente en la conversación que la IA no almacenó como contexto: un nombre, un precio, una fecha. Este es el modo de falla que aborda más directamente la ventana contextual de próxima generación.
Fallos de endpointing. La IA comienza a hablar, la persona que llama habla sobre ella, la IA escucha su propia voz mezclada con la de la persona que llama y produce una transcripción a la que le falta la mitad de la entrada.
La persona que llama dicta un número de teléfono o una dirección. La IA lo vuelve a leer. La persona que llama corrige un dígito. La IA actualiza el dígito equivocado. Este es un problema 100% solucionable con un mensaje de confirmación de datos estructurados, y enviamos uno en febrero.
La IA identifica correctamente que no puede resolver la llamada y la transfiere, pero el enrutamiento de transferencia la envía a la cola equivocada. En realidad, esto no es un fallo de la IA; lo que la IA expone es una falla en el plan de marcado.
Tres cambios enviados surgieron directamente del estudio y un cuarto está en desarrollo. Intentamos ofrecer la solución de mayor apalancamiento por modo de falla en lugar de la más interesante desde el punto de vista académico.
El cuarto cambio, un búfer de contexto por llamada más rico que aborda la caída de contexto implícito, es el más complejo de los cuatro y se está probando en modo oculto frente a un conjunto de llamadas retenidas antes de que entre en funcionamiento.
Un pequeño hallazgo que vale la pena mencionar: los revisores humanos, a pesar de una rúbrica publicada, se desviaron a lo largo de los tres meses. En el primer mes, los revisores calificaron el 87% de las llamadas como exitosas. En el tercer mes, los mismos revisores, al calificar por segunda vez las llamadas del primer mes extraídas al azar, calificaron el 91% como exitosas. Las transcripciones no habían cambiado.
La deriva no fue mala fe; era familiaridad. A medida que los revisores se acostumbraron a la redacción de la IA, se volvieron más generosos en la dimensión de higiene y conversación. Detectamos esto volviendo a calificar una muestra del 5% de las llamadas del primer mes en el tercer mes y corregimos el número del titular. El 91,4% informado anteriormente es la cifra corregida por la deriva. La cifra bruta fue del 92,1%.
Si un proveedor publica un número de precisión sin describir cómo controló la desviación del nivelador humano, el número es sospechoso de forma predeterminada. Nosotros no inventamos este problema; simplemente le prestamos atención.
Tres cosas, en orden de prioridad. Primero, la precisión del acento resuelto dentro de cada idioma principal admitido y un compromiso público de publicarlo una vez que la metodología se estabilice. En segundo lugar, la precisión del resultado posterior a la llamada: si la persona que llamó realmente recibió lo que buscaba, medido 7 y 30 días después de la llamada mediante la conciliación con el sistema posterior del cliente.
En tercer lugar, el número de costo por llamada resuelta que combina precisión con la economía por minuto, porque una IA con una precisión del 98% que cuesta $1,40/min pierde frente a una IA con una precisión del 92% que cuesta $0,18/min, para casi cualquier negocio real.
Publicaremos el próximo conjunto de números en el tercer trimestre. Si muestran regresión, lo publicaremos también. El objetivo de medir estas cosas no es encontrar un gráfico favorecedor; es encontrar las llamadas que todavía estamos recibiendo mal.
Recepcionistas de IA, rutas mayoristas, números virtuales, todo ello integrado en una plataforma con precios transparentes y un NOC 24 horas al día, 7 días a la semana.