L'échantillonnage aléatoire manque les appels qui comptent réellement. Nous avons reconstruit la console de supervision autour d'un score de risque et avons arrêté de prétendre que le contrôle qualité était un jeu de chiffres.
Pendant deux décennies, le secteur des centres de contact s'est mis d'accord sur un processus : un superviseur échantillonnait au hasard un petit pourcentage d'appels enregistrés - généralement 2 à 5 par agent et par semaine - les notait sur une grille de 30 lignes et regroupait les scores dans un rapport de coaching. Toute l’industrie s’est construite autour de cette pratique. Les vendeurs vendaient des tableaux de bord. Les auditeurs ont validé les rubriques. Les conférences avaient des pistes pour cela.
Le calcul n’a jamais fonctionné. Un centre de contact de 1 000 agents traitant 200 000 appels par semaine, avec un échantillon de 2 % par agent, vous donne 40 000 appels notés – ce qui semble beaucoup jusqu'à ce que vous réalisiez que l'échantillon est uniformément aléatoire parmi les appels qui sont bénins à 99 %.
Échantillonner 40 000 conversations aléatoires pour trouver les 60 appels au cours desquels l'agent a commis des violations de conformité est la définition d'une aiguille dans une botte de foin. Le temps que la botte de foin soit triée, l’agent est parti, le client s’est désisté et la violation s’est aggravée.
Le but du contrôle qualité n’a jamais été de marquer l’appel moyen. Il s’agissait de trouver les appels qui comptaient – les échecs, les sauvegardes, les cas extrêmes, les conversations au cours desquelles l’agent a fait quelque chose d’exceptionnel ou d’alarmant. L'échantillonnage aléatoire est structurellement mauvais pour trouver l'un de ces éléments.
Deux choses ont suffisamment changé pour que l'ancien modèle soit manifestement cassé. Premièrement, la qualité de la transcription a dépassé un seuil d’utilité : dans la plupart des langues principales, les transcriptions sont désormais suffisamment fiables pour être évaluées avec un logiciel, et non plus seulement avec des oreilles humaines.
Deuxièmement, les grands modèles de langage sont devenus suffisamment performants en matière de classification supervisée pour qu'un modèle personnalisé puisse répondre à un appel sur 30 dimensions en 4 secondes pour moins d'un centime.
Ensemble, cela signifiait que pour la première fois dans l'histoire des centres de contact, chaque appel pouvait être noté selon la rubrique – non pas 2 %, ni 5 %, mais 100 %. Une fois que chaque appel est noté, la question cesse d'être « quels appels échantillonnons-nous ? » » et devient « quels appels méritent l'attention d'un superviseur humain ? »
C’est la question qui mérite d’être résolue, et il s’agit d’un problème de classement et non d’un problème d’échantillonnage.
Nous notons chaque appel sur trois dimensions indépendantes, puis les combinons en un seul classement que le superviseur voit dans sa console.
Les trois dimensions ne sont pas pondérées de la même manière et les pondérations ne sont pas les mêmes d’un client à l’autre. Un opérateur de recouvrement de créances accorde la plus grande importance au risque de non-conformité. Une équipe de support SaaS d’entreprise à forte sensibilité pondère les risques liés aux résultats. Une équipe d’intégration chargée de formation pèse sur la valeur du coaching. Les pondérations sont exposées dans les paramètres du superviseur et nous définissons des valeurs par défaut raisonnables par secteur.
La console est délibérément différente de l'ancienne interface utilisateur "file d'attente d'échantillons aléatoires". Au lieu d’une liste paginée des appels récents, il s’agit d’une file d’attente unique, triée par score de risque combiné, actualisée toutes les deux minutes. En tête de la file d’attente se trouvent la vingtaine d’appels qui nécessitent une attention particulière aujourd’hui. Tout ce qui se trouve en dessous est une longue queue.
Chaque carte d'appel comporte les trois sous-scores, un résumé de 90 secondes du sujet de l'appel et les extraits spécifiques signalés par le modèle. Un superviseur peut écouter l'extrait sans écouter l'appel complet. Si l’extrait représente toute l’histoire – et c’est le cas la plupart du temps – le superviseur confirme ou rejette l’indicateur en 30 secondes et passe à autre chose.
Le contrôle qualité par échantillon aléatoire prenait en moyenne 8 minutes par appel. La file d'attente classée dure en moyenne 2 minutes 40 secondes. Le coût du contrôle qualité par appel a diminué. La couverture est passée de 2% à 100%. Le superviseur passe son temps sur les appels qui ont réellement fait évoluer la métrique.
Lorsque nous avons présenté la file d'attente classée aux responsables de l'assurance qualité chez les clients partenaires de conception, trois objections sont apparues de manière constante.
Vrai dans l'abstrait ; la plupart du temps faux dans la pratique. Le modèle manque des choses qu'un humain spécialiste détecterait : un auditeur de conformité examinant le même appel pourrait découvrir des subtilités que le modèle ne signale pas. Mais la comparaison n’est pas contre un spécialiste. Il s'agit d'un superviseur qui échantillonne au hasard 2 % des appels. Le modèle évalue 100 % et signale les 5 % évidents. Le spécialiste passe en revue les 5%.
La couverture nette est bien meilleure que l’ancien système.
Probablement vrai. Toute mesure qui attire l’attention est manipulée. La défense est double : le score est multidimensionnel, donc jouer sur un axe vous fait monter sur un autre ; et le score ne constitue pas l'évaluation des performances de l'agent. Le score est un signal de triage pour le superviseur. L'évaluation des performances est ce que le superviseur conclut après avoir écouté l'appel lui-même.
Nous vendons la partition comme une file d'attente et non comme un tableau d'affichage.
C’est également vrai, et nous devrions être honnêtes à ce sujet. Le superviseur d'un centre de contact en file d'attente passe moins de temps à noter les appels selon une rubrique de 30 lignes et plus de temps à coacher, escalader et intervenir. Les superviseurs qui aimaient l’ancien travail – la partie méthodique et basée sur des cartes de pointage – ne sont pas nécessairement enthousiasmés par le nouveau.
Nous en avons parlé ouvertement aux responsables des opérations des partenaires de conception avant le lancement. Il s'agit d'un changement de flux de travail, pas seulement d'un changement d'outil.
Chez les quatre partenaires de conception qui ont géré la file d'attente classée exclusivement pendant 90 jours, les équipes de superviseurs ont transmis 4,7 fois plus d'appels par semaine vers la rétention ou la conformité que dans le cadre d'un échantillonnage aléatoire. L'augmentation n'était pas un effet de « plus de contrôle » ; c'étaient presque entièrement les appels que l'échantillonnage aléatoire avait structurellement manqués.
Un client a détecté une dérive du script de recouvrement de créances – un seul agent avait commencé à utiliser un langage dépassant les limites de la FDCPA, sur environ 9 % de ses appels – et l’échantillonnage aléatoire n’avait pas fait surface depuis 11 semaines. La file d'attente classée a fait surface dans les 48 heures suivant le début de la dérive, car le score de risque de conformité sur ces appels spécifiques a augmenté de deux écarts types au-dessus de la ligne de base de l'agent.
Un autre client a découvert que les agents que le système d’échantillonnage aléatoire avait signalés comme les moins performants n’étaient pas, en fait, les moins performants – ils étaient simplement les plus bruyants. La file d'attente classée, évaluée en fonction du risque de résultat, a identifié deux agents discrets mais systématiquement sous-performants dont les appels avaient été échantillonnés au même rythme que tout le monde et avaient atterri dans la pile « moyenne ».
Trois choses, volontairement.
Nous n'évaluerons pas automatiquement les agents sur la sortie de la file d'attente. Le score est un signal de triage. Les évaluations des performances des agents passent toujours par un superviseur. Nous gardons délibérément l’humain au courant, non pas parce que le modèle ne peut pas le faire, mais parce que nous avons vu suffisamment de systèmes d’évaluation automatique éroder la confiance pour vouloir éviter complètement ce modèle.
Nous ne lui communiquerons pas le score en temps réel de l'agent pendant l'appel. Il existe une école de pensée selon laquelle les agents devraient voir leurs propres scores de coaching en temps réel. Il existe une école de pensée plus forte selon laquelle cela dégrade l’appel. Nous sommes du côté de la deuxième école.
Nous n'exporterons pas la partition vers des systèmes de gestion des performances par défaut. Les clients qui souhaitent transférer le score dans un outil RH distinct peuvent le faire avec une configuration explicite, mais nous faisons du choix par défaut le choix le plus sûr. Si vous voulez un numéro sur une feuille de calcul, vous devriez devoir le demander exprès.
Réceptionnistes IA, itinéraires de vente en gros, numéros virtuels — construits sur une seule plateforme avec une tarification transparente et un NOC 24h/24 et 7j/7.