Случайная выборка упускает из виду действительно важные вызовы. Мы перестроили консоль супервизора вокруг оценки рисков и перестали притворяться, что контроль качества — это игра с числами.
В течение двух десятилетий индустрия контакт-центров согласовывала процесс: супервайзер случайным образом отбирал небольшой процент записанных звонков — обычно от 2 до 5 на каждого агента в неделю — оценивал их по критерию из 30 строк и сводил оценки в коучинговый отчет. Вся индустрия была построена вокруг этой практики. Продавцы продавали оценочные карточки. Аудиторы утвердили рубрики. На конференциях были пути для этого.
Математика никогда не работала. Контакт-центр с 1000 операторов, обрабатывающий 200 000 звонков в неделю (выборка 2% на каждого агента), дает вам 40 000 оцененных звонков — это звучит очень много, пока вы не поймете, что выборка равномерно случайна среди звонков, которые на 99% являются безопасными.
Выборка из 40 000 случайных разговоров для выявления 60 звонков, в которых агент допустил нарушения нормативных требований, — это определение иголки в стоге сена. К тому времени, как стог сена был рассортирован, агент ушел, клиент ушел, а нарушение усугубилось.
Целью контроля качества никогда не было получение среднего результата. Важно было найти звонки — сбои, сохранения, крайние случаи, разговоры, в которых агент делал что-то исключительное или тревожное. Случайная выборка структурно плоха для обнаружения любого из них.
Две вещи изменились настолько, что старая модель явно сломалась. Во-первых, качество транскрипции перешло порог полезности — транскрипты большинства основных языков теперь достаточно надежны, чтобы их можно было оценить программным обеспечением, а не только человеческими ушами.
Во-вторых, большие языковые модели настолько хорошо справляются с контролируемой классификацией, что специально обученная модель может выполнить вызов по 30 измерениям за 4 секунды менее чем за пенни.
В совокупности это означало, что впервые в истории контакт-центров каждый отдельный звонок можно было оценить по критерию — не 2%, не 5%, а 100%. Как только каждый звонок будет оценен, вопрос перестанет звучать так: «Какие звонки мы проверяем?» и становится «какие вызовы заслуживают внимания человека-руководителя?»
Это вопрос, который стоит решить, и это проблема ранжирования, а не проблемы выборки.
Мы оцениваем каждый звонок по трем независимым измерениям, а затем объединяем их в один рейтинг, который супервайзер видит в своей консоли.
Эти три измерения не имеют одинакового веса, и веса не одинаковы для разных клиентов. Оператор по сбору долгов больше всего оценивает риск соблюдения требований. Внимательная команда поддержки корпоративного SaaS взвешивает риски исхода. В команде по адаптации, интенсивно тренирующейся, придается большое значение тренерской ценности. Веса отображаются в настройках супервизора, и мы устанавливаем разумные значения по умолчанию для каждой отрасли.
Консоль намеренно отличается от старого пользовательского интерфейса «очереди случайных выборок». Вместо постраничного списка последних вызовов это единая ранжированная очередь, отсортированная по совокупному показателю риска и обновляющаяся каждые две минуты. В верхней части очереди находятся около 20 вызовов, которые требуют внимания сегодня. Все, что ниже, — длинный хвост.
Каждая карточка звонка содержит три подоценки, 90-секундное описание того, о чем был звонок, и конкретные фрагменты, отмеченные моделью. Супервизор может прослушать фрагмент, не прослушивая весь вызов. Если фрагмент — это вся история (а в большинстве случаев так и есть), руководитель подтверждает или отклоняет пометку в течение 30 секунд и продолжает двигаться дальше.
Раньше тестирование случайной выборки занимало в среднем 8 минут на звонок. Ранговая очередь составляет в среднем 2 минуты 40 секунд. Стоимость QA за звонок снизилась. Охват увеличился с 2% до 100%. Руководитель тратит свое время на звонки, которые фактически изменили показатель.
Когда мы показали ранжированную очередь руководителям контроля качества клиентов-партнеров по дизайну, последовательно возникло три возражения.
Правда в абстрактном смысле; на практике по большей части ложны. Модель скучает по человеческому специалист поймает — аудитор по соблюдению требований, просматривающий тот же звонок, может обнаружить тонкости, которые модель не отмечает. Но сравнение не против специалиста. Это против того, чтобы супервайзер случайным образом отбирал 2% звонков. Модель проверяет 100% и отмечает очевидные 5%. Специалист рассматривает 5%.
Чистый охват намного лучше, чем в старой системе.
Вероятно, это правда. Любая метрика, привлекающая внимание, подвергается обыгрыванию. Защита двоякая: счет многомерен, поэтому игра по одной оси подталкивает вас вверх по другой; и эта оценка не является оценкой работы агента. Оценка является сигналом сортировки для руководителя. Анализ производительности — это то, что делает руководитель после прослушивания фактического звонка.
Мы продаем счет в виде очереди, а не табло.
Это тоже правда, и мы должны быть честными в этом. Руководитель контакт-центра с ранжированной очередью тратит меньше времени на оценку звонков по 30-строчной рубрике и больше времени на обучение, эскалацию и вмешательство. Руководители, которым нравилась старая работа – ее методичная и основанная на системе показателей часть – не обязательно в восторге от новой.
Мы открыто говорили об этом с руководителями проектных партнеров перед запуском. Это изменение рабочего процесса, а не просто смена инструмента.
У четырех партнеров по проектированию, которые управляли ранжированной очередью исключительно в течение 90 дней, команды руководителей переводили в 4,7 раза больше звонков в неделю на удержание или соблюдение требований, чем при случайной выборке. Это увеличение не было результатом «более пристального внимания»; почти полностью это были звонки, которые случайная выборка структурно пропустила.
Один клиент заметил дрейф в сценарии взыскания долгов — один агент начал использовать язык, выходящий за границы FDCPA, примерно в 9% своих звонков — и эта случайная выборка не появлялась в течение 11 недель. Ранжированная очередь обнаружила это в течение 48 часов после начала дрейфа, потому что оценка риска несоблюдения требований по этим конкретным звонкам подскочила на два стандартных отклонения выше базового уровня агента.
Другой клиент обнаружил, что агенты, которых система случайной выборки пометила как наименее эффективные, на самом деле не были самыми результативными — они были просто самыми громкими. Ранжированная очередь, которая оценивалась на основе риска исхода, выявила двух тихих, но стабильно неэффективных агентов, звонки которых отбирались с той же частотой, что и все остальные, и попали в «среднюю» стопку.
Три вещи, специально.
Мы не будем автоматически оценивать агентов на выходе очереди. Оценка является сигналом сортировки. Рейтинги эффективности агентов по-прежнему проходят через супервизора. Мы намеренно держим человека в курсе не потому, что модель не может этого сделать, а потому, что мы наблюдали, как достаточно систем с автооценкой подрывают доверие, и мы хотим полностью избежать этой модели.
Мы не будем сообщать агенту оценку агента в реальном времени во время разговора. Существует точка зрения, согласно которой агенты должны видеть свои тренерские результаты в режиме реального времени. Существует более сильная точка зрения, которая утверждает, что такие действия ухудшают качество призыва. Мы на стороне второй школы.
По умолчанию мы не будем экспортировать оценку в системы управления производительностью. Клиенты, которые хотят перенести оценку в отдельный инструмент управления персоналом, могут сделать это с помощью явной настройки, но мы делаем вариант по умолчанию более безопасным. Если вам нужен номер в электронной таблице, вам придется попросить его специально.
Администраторы с искусственным интеллектом, оптовые маршруты, виртуальные номера — построены на одной платформе с прозрачными ценами и круглосуточным NOC.