El muestreo aleatorio omite las llamadas que realmente importan. Reconstruimos la consola del supervisor en torno a una puntuación de riesgo y dejamos de pretender que el control de calidad era un juego de números.
Durante dos décadas, la industria de los centros de contacto acordó un proceso: un supervisor tomaría muestras aleatorias de un pequeño porcentaje de llamadas grabadas (generalmente de 2 a 5 por agente por semana), las calificaría según una rúbrica de 30 filas y acumularía las puntuaciones en un informe de capacitación. Toda la industria se construyó en torno a esta práctica. Los vendedores vendían cuadros de mando. Rúbricas validadas por los auditores. Las conferencias tenían pistas para ello.
Las matemáticas nunca funcionaron. Un centro de contacto de 1.000 agentes que atiende 200.000 llamadas a la semana, con un muestreo del 2% por agente, le proporciona 40.000 llamadas puntuadas, lo que parece mucho hasta que se da cuenta de que la muestra es uniformemente aleatoria en todas las llamadas que son 99% benignas.
Tomar muestras de 40.000 conversaciones aleatorias para encontrar las 60 llamadas en las que el agente cometió infracciones de cumplimiento es la definición de una aguja en un pajar. Para cuando se ha ordenado el pajar, el agente ha seguido adelante, el cliente se ha ido y la infracción se ha agravado.
El objetivo del control de calidad nunca fue calificar la decisión promedio. Se trataba de encontrar las llamadas que importaban: los fracasos, las salvaciones, los casos extremos, las conversaciones en las que el agente hizo algo excepcional o alarmante. El muestreo aleatorio es estructuralmente malo para encontrar cualquiera de ellos.
Dos cosas cambiaron lo suficiente como para que el viejo modelo estuviera obviamente roto. Primero, la calidad de la transcripción cruzó un umbral de utilidad: en la mayoría de los idiomas principales, las transcripciones ahora son lo suficientemente confiables como para calificarlas con software, no solo con oídos humanos.
En segundo lugar, los modelos de lenguaje grandes se volvieron lo suficientemente buenos en la clasificación supervisada como para que un modelo entrenado a medida pueda realizar una llamada en 30 dimensiones en 4 segundos por menos de un centavo.
En conjunto, esto significó que, por primera vez en la historia de los centros de contacto, cada llamada podría calificarse según la rúbrica: no 2%, ni 5%, sino 100%. Una vez que se califica cada llamada, la pregunta deja de ser "¿qué llamadas probamos?" y se convierte en "¿qué llamadas merecen la atención de un supervisor humano?"
Ésa es la cuestión que vale la pena resolver, y es un problema de clasificación, no de muestreo.
Calificamos cada llamada en tres dimensiones independientes y luego las combinamos en una única clasificación que el supervisor ve en su consola.
Las tres dimensiones no tienen el mismo peso y los pesos no son los mismos entre los clientes. Un operador de cobro de deudas pondera más el riesgo de cumplimiento. Un equipo de soporte de SaaS empresarial de alto contacto sopesa el riesgo de resultados. Un equipo de incorporación que requiere mucho entrenamiento pondera el valor del coaching. Las ponderaciones están expuestas en la configuración del supervisor y establecemos valores predeterminados sensatos por industria.
La consola se ve deliberadamente diferente de la antigua interfaz de usuario de "cola de muestras aleatorias". En lugar de una lista paginada de llamadas recientes, es una cola clasificada única, ordenada por puntuación de riesgo combinada, que se actualiza cada dos minutos. La parte superior de la cola son las aproximadamente 20 llamadas que necesitan atención hoy. Todo lo que hay debajo es una cola larga.
Cada tarjeta de llamada incluye las tres subpuntuaciones, un resumen de 90 segundos de lo que se trató la llamada y los fragmentos específicos que marcó el modelo. Un supervisor puede escuchar el fragmento sin escuchar la llamada completa. Si el fragmento es la historia completa (y la mayoría de las veces lo es), el supervisor confirma o rechaza la bandera en 30 segundos y continúa.
El control de calidad de muestras aleatorias solía tardar en promedio 8 minutos por llamada. La cola clasificada tiene un promedio de 2 minutos y 40 segundos. El costo del control de calidad por llamada ha disminuido. La cobertura ha pasado del 2% al 100%. El supervisor dedica su tiempo a las llamadas que realmente movieron la métrica.
Cuando mostramos la cola clasificada a los líderes de control de calidad de los clientes socios de diseño, surgieron tres objeciones consistentemente.
Verdadero en abstracto; en su mayoría falso en la práctica. La modelo extraña cosas de un ser humano. especialista captaría: un auditor de cumplimiento que revise la misma llamada podría encontrar sutilezas que el modelo no señala. Pero la comparación no es contra un especialista. Va en contra de que un supervisor muestree aleatoriamente el 2% de las llamadas. El modelo revisa el 100% y señala el obvio 5%. El especialista revisa el 5%.
La cobertura neta es mucho mejor que la del sistema anterior.
Probablemente sea cierto. Cualquier métrica que llame la atención es manipulada. La defensa es doble: la puntuación es multidimensional, por lo que jugar en un eje te empuja hacia arriba en otro; y la puntuación no es la evaluación del desempeño del agente. La puntuación es una señal de clasificación para el supervisor. La revisión de desempeño es lo que el supervisor concluye después de escuchar la llamada real.
Vendemos la puntuación como una cola, no como un marcador.
También es cierto, y deberíamos ser honestos al respecto. El supervisor de un centro de contacto con cola clasificada dedica menos tiempo a calificar llamadas según una rúbrica de 30 filas y más tiempo a asesorar, escalar e intervenir. Los supervisores a quienes les gustaba el antiguo trabajo (la parte metódica y basada en cuadros de mando) no están necesariamente entusiasmados con el nuevo.
Hablamos abiertamente con los líderes de operaciones de los socios de diseño sobre esto antes del lanzamiento. Es un cambio de flujo de trabajo, no sólo un cambio de herramienta.
Entre los cuatro socios de diseño que ejecutaron la cola clasificada exclusivamente durante 90 días, los equipos de supervisores aumentaron 4,7 veces más llamadas por semana para retención o cumplimiento que con el muestreo aleatorio. El aumento no fue un efecto de "mayor escrutinio"; fueron casi en su totalidad llamadas que el muestreo aleatorio había omitido estructuralmente.
Un cliente detectó una desviación del guión de cobro de deudas (un solo agente había comenzado a usar un lenguaje que cruzaba un límite de la FDCPA, en aproximadamente el 9% de sus llamadas) y ese muestreo aleatorio no había aparecido durante 11 semanas. La cola clasificada apareció dentro de las 48 horas posteriores al inicio de la deriva, porque la puntuación de riesgo de cumplimiento en esas llamadas específicas saltó dos desviaciones estándar por encima de la línea de base del agente.
Otro cliente descubrió que los agentes que el sistema de muestreo aleatorio había marcado como los de menor desempeño no eran, de hecho, los de menor desempeño: simplemente eran los más ruidosos. La cola clasificada, que se clasificaba según el riesgo de resultado, identificó a dos agentes silenciosos pero consistentemente de bajo rendimiento cuyas llamadas habían sido muestreadas al mismo ritmo que todos los demás y habían aterrizado en la pila "promedio".
Tres cosas, a propósito.
No calificaremos automáticamente a los agentes en la salida de la cola. La puntuación es una señal de clasificación. Las calificaciones de desempeño de los agentes todavía pasan por un supervisor. Mantenemos deliberadamente al ser humano informado, no porque el modelo no pueda hacerlo, sino porque hemos visto suficientes sistemas de puntuación automática erosionar la confianza como para querer evitar el patrón por completo.
No le mostraremos la puntuación en tiempo real del agente durante la llamada. Existe una escuela de pensamiento que dice que los agentes deberían ver sus propios puntajes de entrenamiento en tiempo real. Existe una escuela de pensamiento más fuerte que dice que hacerlo degrada la llamada. Estamos del lado de la segunda escuela.
No exportaremos la puntuación a sistemas de gestión del rendimiento de forma predeterminada. Los clientes que quieran conectar la puntuación a una herramienta de recursos humanos separada pueden hacerlo con una configuración explícita, pero hacemos que la opción predeterminada sea la más segura. Si desea un número en una hoja de cálculo, deberá solicitarlo a propósito.
Recepcionistas de IA, rutas mayoristas, números virtuales, todo ello integrado en una plataforma con precios transparentes y un NOC 24 horas al día, 7 días a la semana.