A amostragem aleatória perde as chamadas que realmente importam. Reconstruímos o console do supervisor em torno de uma pontuação de risco e paramos de fingir que o controle de qualidade era um jogo de números.
Durante duas décadas, a indústria dos contact centers concordou com um processo: um supervisor coletaria amostras aleatórias de uma pequena porcentagem de chamadas gravadas – normalmente de 2 a 5 por agente por semana –, pontuando-as em uma rubrica de 30 linhas e acumulando as pontuações em um relatório de coaching. Toda a indústria foi construída em torno desta prática. Os fornecedores vendiam scorecards. Rubricas validadas pelos auditores. As conferências tinham trilhas para isso.
A matemática nunca funcionou. Um contact center com 1.000 agentes que atende 200.000 chamadas por semana, com amostragem de 2% por agente, fornece 40.000 chamadas pontuadas – o que parece muito até você perceber que a amostra é uniformemente aleatória em chamadas que são 99% benignas.
Amostragem de 40.000 conversas aleatórias para encontrar as 60 chamadas em que o agente cometeu violações de conformidade é a definição de uma agulha num palheiro. No momento em que o palheiro foi classificado, o agente seguiu em frente, o cliente desistiu e a violação se agravou.
O objetivo do controle de qualidade nunca foi pontuar a chamada média. O que importava era encontrar as ligações – as falhas, os salvamentos, os casos extremos, as conversas em que o agente fez algo excepcional ou alarmante. A amostragem aleatória é estruturalmente ruim para encontrar qualquer um deles.
Duas coisas mudaram o suficiente para tornar o modelo antigo obviamente quebrado. Primeiro, a qualidade da transcrição ultrapassou um limite de utilidade – na maioria dos principais idiomas, as transcrições agora são confiáveis o suficiente para serem pontuadas com software, não apenas com ouvidos humanos.
Em segundo lugar, grandes modelos de linguagem ficaram bons o suficiente na classificação supervisionada para que um modelo treinado de forma personalizada possa pontuar uma chamada em 30 dimensões em 4 segundos por menos de um centavo.
Juntos, isso significou que, pela primeira vez na história do contact center, cada chamada poderia ser pontuada de acordo com a rubrica – não 2%, não 5%, mas 100%. Depois que cada chamada é pontuada, a pergunta deixa de ser "quais chamadas amostramos?" e torna-se "quais chamadas merecem a atenção de um supervisor humano?"
Essa é a questão que vale a pena resolver, e é um problema de classificação, não de amostragem.
Pontuamos cada chamada em três dimensões independentes e depois as combinamos em uma única classificação que o supervisor vê em seu console.
As três dimensões não têm pesos iguais e os pesos não são iguais entre os clientes. Um operador de cobrança de dívidas pondera mais o risco de conformidade. Uma equipe de suporte SaaS empresarial de alto contato avalia o risco do resultado. Uma equipe de integração com muitos treinamentos avalia o valor do coaching. Os pesos são expostos nas configurações do supervisor e definimos padrões razoáveis por setor.
O console parece deliberadamente diferente da antiga IU de "fila de amostra aleatória". Em vez de uma lista paginada de chamadas recentes, é uma fila única classificada, classificada por pontuação de risco combinada, atualizada a cada dois minutos. O topo da fila são as cerca de 20 chamadas que precisam de atenção hoje. Tudo abaixo é uma cauda longa.
Cada cartão de chamada contém três subpontuações, um resumo de 90 segundos do assunto da chamada e os trechos específicos que o modelo sinalizou. Um supervisor pode ouvir o trecho sem ouvir a chamada completa. Se o trecho for a história toda – e na maioria das vezes é – o supervisor confirma ou rejeita a sinalização em 30 segundos e segue em frente.
O controle de qualidade de amostra aleatória costumava levar em média 8 minutos por chamada. A fila classificada tem em média 2 minutos e 40 segundos. O custo do controle de qualidade por chamada caiu. A cobertura passou de 2% para 100%. O supervisor está gastando seu tempo nas ligações que realmente movimentaram a métrica.
Quando mostramos a fila de classificação aos líderes de controle de qualidade nos clientes parceiros de design, três objeções surgiram de forma consistente.
Verdadeiro em abstrato; principalmente falso na prática. O modelo sente falta de coisas que um ser humano especialista pegaria – um auditor de conformidade que analisasse a mesma chamada poderia encontrar sutilezas que o modelo não sinaliza. Mas a comparação não é contra um especialista. É contra um supervisor que amostra aleatoriamente 2% das chamadas. O modelo analisa 100% e sinaliza os 5% óbvios. O especialista analisa os 5%.
A cobertura da rede é muito melhor que a do sistema antigo.
Provavelmente é verdade. Qualquer métrica que chame a atenção é manipulada. A defesa é dupla: a pontuação é multidimensional, então jogar em um eixo empurra você para cima em outro; e a pontuação não é a avaliação de desempenho do agente. A pontuação é um sinal de triagem para o supervisor. A avaliação de desempenho é o que o supervisor conclui depois de ouvir a chamada real.
Vendemos o placar como uma fila, não como um placar.
Também é verdade, e devemos ser honestos sobre isso. O supervisor de um contact center com fila classificada gasta menos tempo pontuando chamadas em uma rubrica de 30 linhas e mais tempo treinando, escalando e intervindo. Os supervisores que gostavam do antigo trabalho – a parte metódica e orientada pelo scorecard – não estão necessariamente entusiasmados com o novo.
Conversamos abertamente com líderes de operações de parceiros de design sobre isso antes do lançamento. É uma mudança no fluxo de trabalho, não apenas uma mudança de ferramenta.
Nos quatro parceiros de design que administraram a fila classificada exclusivamente por 90 dias, as equipes de supervisores escalaram 4,7 vezes mais chamadas por semana para retenção ou conformidade do que na amostragem aleatória. O aumento não foi um efeito de “mais escrutínio”; foram quase inteiramente chamadas que a amostragem aleatória havia estruturalmente perdido.
Um cliente percebeu um desvio no script de cobrança de dívidas – um único agente começou a usar uma linguagem que ultrapassava os limites da FDCPA, em cerca de 9% de suas ligações – essa amostragem aleatória não aparecia há 11 semanas. A fila classificada apareceu dentro de 48 horas após o início do desvio, porque a pontuação de risco de conformidade nessas chamadas específicas saltou dois desvios padrão acima da linha de base do agente.
Outro cliente descobriu que os agentes que o sistema de amostragem aleatória havia sinalizado como de pior desempenho não eram, na verdade, os de menor desempenho – eram apenas os mais barulhentos. A fila classificada, avaliada com base no risco de resultado, identificou dois agentes silenciosos, mas com desempenho consistentemente insatisfatório, cujas chamadas foram amostradas na mesma proporção que todos os outros e foram parar na pilha "média".
Três coisas, de propósito.
Não pontuaremos automaticamente os agentes na saída da fila. A pontuação é um sinal de triagem. As classificações de desempenho dos agentes ainda passam por um supervisor. Estamos deliberadamente mantendo o ser humano informado, não porque o modelo não possa fazê-lo, mas porque vimos sistemas com pontuação automática suficientes corroerem a confiança para querermos evitar totalmente o padrão.
Não apresentaremos a pontuação em tempo real do agente durante a chamada. Existe uma escola de pensamento que diz que os agentes devem ver as suas próprias pontuações de coaching em tempo real. Existe uma escola de pensamento mais forte que diz que isso degrada o chamado. Ficamos do lado da segunda escola.
Por padrão, não exportaremos a pontuação para sistemas de gerenciamento de desempenho. Os clientes que desejam conectar a pontuação a uma ferramenta de RH separada podem fazê-lo com configuração explícita, mas tornamos o padrão a escolha mais segura. Se você quiser um número em uma planilha, deverá solicitá-lo de propósito.
Recepcionistas de IA, rotas de atacado, números virtuais – construídos em uma plataforma com preços transparentes e NOC 24 horas por dia, 7 dias por semana.