Sprawa rankingu połączeń, a nie ich próbkowania

Wstęp

Przez dwie dekady branża contact center uzgadniała pewien proces: przełożony losowo pobierał próbki z niewielkiego odsetka nagranych rozmów — zazwyczaj od 2 do 5 na agenta tygodniowo — oceniał je w 30-wierszowej tabeli i umieszczał wyniki w raporcie coachingowym. Cały przemysł został zbudowany wokół tej praktyki. Sprzedawcy sprzedawali karty wyników. Audytorzy zatwierdzili rubryki. Konferencje miały na to ślady.

Matematyka nigdy nie działała. Centrum kontaktowe zatrudniające 1000 agentów obsługuje 200 000 połączeń tygodniowo, przy próbkowaniu 2% na agenta, daje 40 000 ocenianych połączeń — co wydaje się dużą liczbą, dopóki nie zorientujesz się, że próba jest jednakowo losowa w przypadku połączeń, które w 99% są łagodne.

Próbkowanie 40 000 losowych rozmów w celu znalezienia 60 rozmów, w których agent dopuścił się naruszenia zasad, to definicja igły w stogu siana. Zanim posortowano stogi siana, agent poszedł dalej, klient odszedł, a naruszenie się pogłębiło.

Celem kontroli jakości nigdy nie było zdobycie przeciętnej rozmowy. Liczyło się znalezienie rozmów, które miały znaczenie — niepowodzeń, zapisów stanu, przypadków brzegowych, rozmów, podczas których agent zrobił coś wyjątkowego lub niepokojącego. Próbkowanie losowe jest strukturalnie złe w znajdowaniu któregokolwiek z nich.

Co się zmieniło przez ostatnie 18 miesięcy

Dwie rzeczy zmieniły się na tyle, że stary model był ewidentnie zepsuty. Po pierwsze, jakość transkrypcji przekroczyła próg użyteczności — w przypadku większości głównych języków transkrypcje są obecnie na tyle wiarygodne, że można je ocenić za pomocą oprogramowania, a nie tylko ludzkiego ucha.

Po drugie, duże modele językowe są na tyle dobre w klasyfikacji nadzorowanej, że specjalnie wyszkolony model może wykonać połączenie w 30 wymiarach w 4 sekundy za mniej niż grosz.

Łącznie oznaczało to, że po raz pierwszy w historii contact center każde połączenie mogło zostać ocenione w oparciu o daną rubrykę — nie 2%, nie 5%, ale 100%. Kiedy każde połączenie zostanie ocenione, pytanie przestaje brzmieć: „Jakie połączenia mamy sprawdzić?” i staje się „Jakie połączenia zasługują na uwagę ludzkiego przełożonego?”

To jest pytanie, które warto rozwiązać i jest to problem rankingowy, a nie problem próbkowania.

Co wchodzi w skład oceny ryzyka

Każde połączenie oceniamy w trzech niezależnych wymiarach, a następnie łączymy je w jedną rangę, którą przełożony widzi w swojej konsoli.

• Ryzyko braku zgodności — czy zaproszenie zawierało język, który powoduje narażenie na ryzyko regulacyjne? Mini-Miranda, zgoda TCPA, granice FDCPA dotyczące windykacji, chronione informacje dotyczące stanu zdrowia. Wymiar ten jest binarny — większość połączeń ma wynik bliski zeru, a mały ogon ma wysoki wynik.
• Ryzyko wyniku — czy w wyniku tej rozmowy jest prawdopodobne, że ten klient odejdzie, złoży skargę lub eskaluje współpracę? Łączy trajektorię nastrojów, sygnały o nierozwiązanych problemach, wyraźny język skargi i wartość poziomu konta klienta.
• Wartość coachingowa — czy przełożony oglądający tę rozmowę nauczyłby się czegoś, czego może nauczyć? Wysokiej rangi rozmowy coachingowe to niezwykłe zapisy, czyste przekazy i kontrolowane deeskalacje. To nie są porażki; są wzorami.

Te trzy wymiary nie są jednakowo ważone, a wagi nie są takie same u wszystkich klientów. Operator windykacyjny przywiązuje największą wagę do ryzyka braku zgodności. Doświadczony zespół wsparcia SaaS dla przedsiębiorstw waży ryzyko wyniku. Obciążony szkoleniami zespół wdrażający zwiększa wartość coachingu. Wagi są widoczne w ustawieniach nadzorcy i ustalamy rozsądne wartości domyślne dla każdej branży.

Konsola nadzorcy: kolejka rankingowa

Konsola celowo wygląda inaczej niż stary interfejs użytkownika „losowej kolejki próbek”. Zamiast podzielonej na strony listy ostatnich połączeń, jest to pojedyncza kolejka z rankingiem, posortowana według łącznej oceny ryzyka i odświeżana co dwie minuty. Na szczycie kolejki znajduje się około 20 połączeń, które wymagają dzisiaj uwagi. Wszystko poniżej to długi ogon.

Na każdej karcie rozmowy znajdują się trzy wyniki cząstkowe, 90-sekundowe podsumowanie tematu rozmowy oraz konkretne fragmenty oznaczone przez model. Przełożony może odsłuchać fragment bez słuchania całej rozmowy. Jeśli fragment zawiera całą historię – a w większości przypadków tak jest – przełożony potwierdza lub odrzuca flagę w ciągu 30 sekund i kontynuuje.

Kontrola jakości na próbie losowej zajmowała średnio 8 minut na jedno połączenie. Kolejka rankingowa trwa średnio 2 minuty i 40 sekund. Koszt kontroli jakości za połączenie spadł. Zasięg wzrósł z 2% do 100%. Przełożony spędza czas na rozmowach telefonicznych, które faktycznie przesunęły metrykę.

Zastrzeżenia, które usłyszeliśmy

Kiedy pokazaliśmy kolejkę rankingową liderom kontroli jakości u klientów będących partnerami projektowymi, konsekwentnie pojawiały się trzy zastrzeżenia.

Zarzut 1: „Modelowi nie uda się złapać rzeczy, które mógłby uchwycić człowiek”.

Prawda w skrócie; w praktyce przeważnie fałszywe. Modelce brakuje tego, co ludzkie specjalista mógłby złapać – audytor zgodności przeglądający to samo zaproszenie mógłby znaleźć subtelności, których model nie zauważa. Ale porównanie nie dotyczy specjalisty. Jest to sprzeczne z losowym próbkowaniem przez przełożonego 2% rozmów. Model sprawdza 100% i zaznacza oczywiste 5%. Specjalista ocenia 5%.

Zasięg sieci jest znacznie lepszy niż w starym systemie.

Zarzut 2: „Agenci będą decydować o wyniku”.

Prawdopodobnie prawda. Każdy wskaźnik, który przykuwa uwagę, zostaje wykorzystany. Obrona jest dwojaka: wynik jest wielowymiarowy, więc gra na jednej osi popycha cię w górę na innej; a wynik nie jest oceną pracy agenta. Wynik jest sygnałem selekcji dla przełożonego. Przegląd wyników to wnioski, jakie przełożony wyciąga po wysłuchaniu rozmowy.

Sprzedajemy wynik jako kolejkę, a nie tablicę wyników.

Zarzut 3: „To zmienia pracę przełożonego”.

To także prawda i powinniśmy być w tym uczciwi. Kierownik centrum kontaktowego z kolejką rankingową spędza mniej czasu na ocenianiu połączeń w 30-wierszowej rubryce, a więcej na coachingu, eskalacji i interweniowaniu. Przełożeni, którym podobała się stara praca – jej metodyczna część oparta na kartach wyników – niekoniecznie są zachwyceni nową.

Otwarcie rozmawialiśmy o tym z liderami operacyjnymi partnerów projektowych przed premierą. Jest to zmiana przepływu pracy, a nie tylko zmiana narzędzia.

Co nowy system znalazł w ciągu pierwszych 90 dni

W przypadku czterech partnerów projektowych, którzy prowadzili kolejkę rankingową wyłącznie przez 90 dni, zespoły nadzorujące eskalowały 4,7 razy więcej połączeń tygodniowo w celu utrzymania lub zgodności niż w przypadku losowego próbkowania. Wzrost nie wynikał z „większej kontroli”; prawie w całości były to wezwania, których strukturalnie nie udało się uzyskać w przypadku losowego pobierania próbek.

Jeden z klientów zauważył błąd w scenariuszu windykacji — pojedynczy agent zaczął używać języka przekraczającego granicę FDCPA w przypadku około 9% jego połączeń — a losowe pobieranie próbek nie pojawiało się przez 11 tygodni. Kolejka rankingowa pojawiła się w ciągu 48 godzin od rozpoczęcia dryfu, ponieważ wynik ryzyka zgodności dla tych konkretnych połączeń przeskoczył o dwa odchylenia standardowe powyżej wartości bazowej agenta.

Inny klient odkrył, że agenci oznaczeni przez system losowych próbek jako najmniej wydajni, w rzeczywistości nie osiągali najniższych wyników — byli po prostu najgłośniejsi. Kolejka rankingowa, oceniana na podstawie ryzyka wyniku, zidentyfikowała dwóch cichych, ale stale osiągających słabsze wyniki agentów, których połączenia były próbkowane z taką samą częstotliwością jak wszyscy inni i wylądowały na „przeciętnym” stosie.

Czego świadomie nie zrobimy z partyturą

Trzy rzeczy, celowo.

Nie będziemy automatycznie oceniać agentów na wyjściu kolejki. Wynik jest sygnałem selekcji. Oceny wydajności agentów nadal przechodzą przez przełożonego. Celowo utrzymujemy człowieka w pętli nie dlatego, że model nie może tego zrobić, ale dlatego, że widzieliśmy wystarczającą liczbę systemów z autooceną podważających zaufanie, aby chcieć całkowicie uniknąć tego wzorca.

Podczas rozmowy nie będziemy udostępniać agentowi aktualnego wyniku agenta. Istnieje szkoła myślenia, która mówi, że agenci powinni widzieć swoje własne wyniki coachingu w czasie rzeczywistym. Istnieje silniejsza szkoła myślenia, która twierdzi, że takie postępowanie degraduje powołanie. Jesteśmy po stronie drugiej szkoły.

Domyślnie nie będziemy eksportować wyniku do systemów zarządzania wydajnością. Klienci, którzy chcą połączyć wynik z oddzielnym narzędziem HR, mogą to zrobić za pomocą jawnej konfiguracji, ale my wybieramy opcję domyślną jako bezpieczniejszy wybór. Jeśli chcesz mieć numer w arkuszu kalkulacyjnym, powinieneś celowo o niego poprosić.