Durante três meses, rastreamos todas as chamadas atendidas pela IA — por idioma, por sotaque, por tipo de chamada — e avaliamos a transcrição com base em um revisor humano. Os números de precisão foram melhores do que esperávamos. Os modos de falha foram mais interessantes.
A maioria dos números de “precisão de IA” que você lê em textos de marketing são silenciosamente sem sentido. Eles avaliam um modelo em um conjunto de dados limpo, avaliam o conjunto de dados em relação a si mesmo e produzem um número que quase nada tem a ver com o desempenho do sistema em uma tarde de terça-feira, quando um cliente está ligando de um armazém barulhento e fazendo três perguntas ao mesmo tempo.
Queríamos um número que significasse alguma coisa. Assim, durante três meses, entre janeiro e março de 2026, todas as chamadas atendidas pela nossa recepcionista de IA em toda a frota de produção — 8.427 chamadas no total — foram transcritas, avaliadas pela IA em tempo real e depois reavaliadas de forma independente por um revisor humano que nunca viu o veredicto da IA.
Rastreamos o idioma, o sotaque (quando identificável), o tipo de chamada, a hora do dia, a duração e o caminho específico que a conversa tomou.
A questão não era publicar um número lisonjeiro. O objetivo era encontrar as chamadas em que a IA achava que tinha sido bem-sucedida e estava errada, e as chamadas em que a IA realmente resolveu o problema do cliente, mas nossas métricas internas as marcaram como erradas. Ambas as turmas eram maiores do que esperávamos.
Havia três regras. Primeiro, sem escolha seletiva: todas as chamadas durante o período eram elegíveis, incluindo as 47 chamadas que travaram no meio da conversa e as 312 que foram transferidas para uma pessoa nos primeiros 15 segundos. Em segundo lugar, os revisores humanos estavam cegos à autoavaliação da IA – eles classificaram a transcrição de acordo com a intenção declarada do cliente, e não de acordo com o que quer que a IA alegasse ter feito.
Terceiro, a rubrica foi publicada antes de quaisquer dados serem analisados, para evitar que redefinissemos silenciosamente o “sucesso” assim que os números chegassem.
Cada chamada foi pontuada em três dimensões independentes:
Uma chamada só era contada como uma “vitória” se eliminasse todos os três: intenção correta, tarefa completa, pontuação de higiene de 4 ou 5. O terceiro portão é aquele que eliminou silenciosamente as chamadas que de outra forma teríamos chamado de sucessos.
Em todo o conjunto de dados de 8.427 chamadas, a IA liberou todos os três portões em 91.4% de chamadas. Esse número foi maior do que previmos internamente – a maioria de nós fez apostas na faixa de 85–88%.
A lacuna entre a nossa previsão e o resultado não foi um modelo melhor do que esperávamos; o problema era que nossa intuição estava sendo moldada pelas ligações que lembrávamos, que eram desproporcionalmente as ruins.
Dividida por tipo de chamada, a variação foi significativa:
Os números de reclamações e multiproblemas são os que nos concentramos. Um número de 96% na reserva de compromissos é o que enviamos para ganhar negócios; um número de 72% em ligações com vários problemas é o que oferecemos para mantê-los.
Operamos em 32 idiomas e publicamos um único número de precisão por idioma. A diferença agregada entre a nossa melhor língua (Inglês-EUA) e a nossa pior língua suportada (Vietnamita) foi de 4,1 pontos percentuais – mais estreita do que esperávamos e mais estreita do que vimos relatado em referências académicas publicadas.
Mas as pontuações agregadas de idiomas escondem a parte do problema que realmente importa: a variação de sotaque dentro de um único idioma. As chamadas em inglês atendidas nos Estados Unidos obtiveram 92,7%. Chamadas em inglês de clientes que falam inglês na Índia obtiveram 91,3% – bem dentro do ruído. Chamadas em inglês de fortemente regional Falantes de inglês escocês pontuaram 83,4%. Essa é uma lacuna de 9 pontos e fica inteiramente dentro da coluna denominada “Inglês”.
A questão não é que nosso modelo seja ruim em inglês escocês. A questão é que publicar um número por idioma, embora não seja medida a variação de sotaque, é uma forma de ocultar as chamadas nas quais sua IA está falhando. Agora estamos reportando a variação de acentuação internamente e esperamos publicá-la externamente dentro de dois trimestres.
Quando agrupamos as 723 chamadas perdidas (8,6% do conjunto de dados), cinco modos de falha representaram 81% delas. Nada disso surpreenderá quem já lançou IA de voz antes, mas os pesos relativos nos surpreenderam.
O chamador tem duas ou mais intenções e a IA se compromete com a primeira antes de terminar de declarar a segunda. “Quero remarcar meu compromisso e você também vende o modelo X-100” é exatamente o tipo de informação que destrói o estado da conversa.
O chamador faz referência a algo dito anteriormente na conversa que a IA não armazenou como contexto – um nome, um preço, uma data. Este é o modo de falha que a janela de contexto da próxima geração aborda mais diretamente.
Finalizando falhas. A IA começa a falar, o chamador fala por cima, a IA ouve sua própria voz misturada com a do chamador e produz uma transcrição que falta metade da entrada.
O chamador dita um número de telefone ou endereço. AI lê de volta. O chamador corrige um dígito. AI atualiza o dígito errado. Este é um problema 100% corrigível com um prompt de confirmação de dados estruturados, e enviamos um em fevereiro.
A IA identifica corretamente que não consegue resolver a chamada e as transferências – mas o roteamento de transferência a envia para a fila errada. Isto não é realmente uma falha da IA; é uma falha no plano de discagem que a IA expõe.
Três alterações enviadas resultaram diretamente do estudo e uma quarta está em desenvolvimento. Tentamos fornecer a correção de maior aproveitamento por modo de falha, em vez da mais interessante academicamente.
A quarta mudança – um buffer de contexto por chamada mais rico que aborda a queda de contexto implícito – é a mais complexa das quatro e está sendo testada no modo sombra em um conjunto de chamadas retidas antes de entrar no ar.
Uma pequena descoberta que vale a pena mencionar: os revisores humanos, apesar de uma rubrica publicada, variaram ao longo dos três meses. No primeiro mês, os revisores marcaram 87% das ligações como bem-sucedidas. No terceiro mês, os mesmos revisores, pontuando pela segunda vez as ligações sorteadas aleatoriamente no primeiro mês, marcaram 91% como bem-sucedidas. As transcrições não foram alteradas.
A tendência não foi de má-fé; era familiaridade. À medida que os revisores se acostumaram com o fraseado da IA, eles se tornaram mais generosos na dimensão da higiene da conversa. Percebemos isso reavaliando uma amostra de 5% das ligações do primeiro mês no terceiro mês e corrigimos o número do título para isso. Os 91,4% relatados acima são o valor corrigido pelo desvio. O número bruto foi de 92,1%.
Se um fornecedor publicar um número de precisão sem descrever como controlou o desvio humano da niveladora, o número será suspeito por padrão. Não inventámos este problema; nós apenas prestamos atenção nisso.
Três coisas, em ordem de prioridade. Primeiro, a precisão da resolução do sotaque em cada um dos principais idiomas suportados — e um compromisso público de publicá-lo assim que a metodologia se estabilizar. Em segundo lugar, a precisão do resultado pós-chamada: o chamador realmente recebeu o que procurava, medido 7 e 30 dias após a chamada, reconciliando-se com o sistema posterior do cliente.
Terceiro, o número de custo por chamada resolvida que combina precisão com a economia por minuto – porque uma IA com 98% de precisão que custa US$ 1,40/min perde para uma IA com 92% de precisão que custa US$ 0,18/min, para quase todos os negócios reais.
Publicaremos o próximo conjunto de números no terceiro trimestre. Se mostrarem regressão, publicaremos isso também. O objetivo de medir essas coisas não é encontrar um gráfico lisonjeiro; é encontrar as decisões que ainda estamos errando.
Recepcionistas de IA, rotas de atacado, números virtuais – construídos em uma plataforma com preços transparentes e NOC 24 horas por dia, 7 dias por semana.