Losowe próbkowanie pomija połączenia, które faktycznie mają znaczenie. Przebudowaliśmy konsolę nadzorcy wokół oceny ryzyka i przestaliśmy udawać, że kontrola jakości to gra liczbowa.
Przez dwie dekady branża contact center uzgadniała pewien proces: przełożony losowo pobierał próbki z niewielkiego odsetka nagranych rozmów — zazwyczaj od 2 do 5 na agenta tygodniowo — oceniał je w 30-wierszowej tabeli i umieszczał wyniki w raporcie coachingowym. Cały przemysł został zbudowany wokół tej praktyki. Sprzedawcy sprzedawali karty wyników. Audytorzy zatwierdzili rubryki. Konferencje miały ku temu ścieżki.
Matematyka nigdy nie działała. Centrum kontaktowe zatrudniające 1000 agentów obsługuje 200 000 połączeń tygodniowo, przy próbkowaniu 2% na agenta, daje 40 000 punktowanych połączeń — co wydaje się dużą liczbą, dopóki nie zorientujesz się, że próba jest jednakowo losowa w przypadku połączeń, które w 99% są łagodne.
Próbkowanie 40 000 losowych rozmów w celu znalezienia 60 rozmów, w których agent dopuścił się naruszenia zasad, to definicja igły w stogu siana. Zanim posortowano stogi siana, agent poszedł dalej, klient odszedł, a naruszenie się pogłębiło.
Celem kontroli jakości nigdy nie było zdobycie przeciętnej rozmowy. Liczyło się znalezienie rozmów, które miały znaczenie — niepowodzeń, zapisów stanu, przypadków brzegowych, rozmów, podczas których agent zrobił coś wyjątkowego lub niepokojącego. Próbkowanie losowe jest strukturalnie złe w znajdowaniu któregokolwiek z nich.
Dwie rzeczy zmieniły się na tyle, że stary model był ewidentnie zepsuty. Po pierwsze, jakość transkrypcji przekroczyła próg użyteczności — w przypadku większości głównych języków transkrypcje są obecnie na tyle wiarygodne, że można je ocenić za pomocą oprogramowania, a nie tylko ludzkiego ucha.
Po drugie, duże modele językowe są na tyle dobre w klasyfikacji nadzorowanej, że specjalnie wytrenowany model może wykonać połączenie w 30 wymiarach w 4 sekundy za mniej niż grosz.
Łącznie oznaczało to, że po raz pierwszy w historii contact center każde połączenie mogło zostać ocenione w oparciu o daną rubrykę — nie 2%, nie 5%, ale 100%. Kiedy każde połączenie zostanie ocenione, pytanie przestaje brzmieć: „Jakie połączenia mamy sprawdzić?” i staje się „Jakie połączenia zasługują na uwagę ludzkiego przełożonego?”
To jest pytanie, które warto rozwiązać i jest to problem rankingowy, a nie problem próbkowania.
Każde połączenie oceniamy w trzech niezależnych wymiarach, a następnie łączymy je w jedną rangę, którą przełożony widzi w swojej konsoli.
Te trzy wymiary nie są jednakowo ważone i wagi nie są takie same u wszystkich klientów. Operator windykacyjny przywiązuje największą wagę do ryzyka braku zgodności. Doświadczony zespół wsparcia SaaS dla przedsiębiorstw waży ryzyko wyniku. Obciążony szkoleniami zespół wdrażający zwiększa wartość coachingu. Wagi są widoczne w ustawieniach nadzorcy i ustalamy rozsądne wartości domyślne dla każdej branży.
Konsola celowo wygląda inaczej niż stary interfejs użytkownika „losowej kolejki próbek”. Zamiast podzielonej na strony listy ostatnich połączeń, jest to pojedyncza kolejka z rankingiem, posortowana według łącznej oceny ryzyka i odświeżana co dwie minuty. Na szczycie kolejki znajduje się około 20 połączeń, które wymagają dzisiaj uwagi. Wszystko poniżej to długi ogon.
Na każdej karcie rozmowy znajdują się trzy wyniki cząstkowe, 90-sekundowe podsumowanie tematu rozmowy oraz konkretne fragmenty oznaczone przez model. Przełożony może odsłuchać fragment bez słuchania całej rozmowy. Jeśli fragment zawiera całą historię – a w większości przypadków tak jest – przełożony potwierdza lub odrzuca flagę w ciągu 30 sekund i kontynuuje.
Kontrola jakości na próbie losowej zajmowała średnio 8 minut na jedno połączenie. Kolejka rankingowa trwa średnio 2 minuty i 40 sekund. Koszt kontroli jakości za połączenie spadł. Zasięg wzrósł z 2% do 100%. Przełożony spędza czas na rozmowach telefonicznych, które faktycznie przesunęły metrykę.
Kiedy pokazaliśmy kolejkę rankingową liderom kontroli jakości u klientów będących partnerami projektowymi, konsekwentnie pojawiały się trzy zastrzeżenia.
Prawda w skrócie; w praktyce przeważnie fałszywe. Modelce brakuje tego, co ludzkie specjalista mógłby złapać – audytor zgodności przeglądający to samo zaproszenie mógłby znaleźć subtelności, których model nie zauważa. Ale porównanie nie dotyczy specjalisty. Jest to sprzeczne z losowym próbkowaniem przez przełożonego 2% rozmów. Model sprawdza 100% i zaznacza oczywiste 5%. Specjalista ocenia 5%.
Zasięg sieci jest znacznie lepszy niż w starym systemie.
Prawdopodobnie prawda. Każdy wskaźnik, który przykuwa uwagę, zostaje wykorzystany. Obrona jest dwojaka: wynik jest wielowymiarowy, więc gra na jednej osi popycha cię w górę na innej; a wynik nie jest oceną pracy agenta. Wynik jest sygnałem selekcji dla przełożonego. Przegląd wyników to wnioski, jakie przełożony wyciąga po wysłuchaniu rozmowy.
Sprzedajemy wynik jako kolejkę, a nie tablicę wyników.
To także prawda i powinniśmy być w tym uczciwi. Przełożony centrum kontaktowego z kolejką rankingową spędza mniej czasu na ocenianiu połączeń w 30-wierszowej rubryce, a więcej na coachingu, eskalacji i interweniowaniu. Przełożeni, którym podobała się stara praca – jej metodyczna część oparta na kartach wyników – niekoniecznie są zachwyceni nową.
Otwarcie rozmawialiśmy o tym z liderami operacyjnymi partnerów projektowych przed premierą. Jest to zmiana przepływu pracy, a nie tylko zmiana narzędzia.
W przypadku czterech partnerów projektowych, którzy prowadzili kolejkę rankingową wyłącznie przez 90 dni, zespoły nadzorujące eskalowały 4,7 razy więcej połączeń tygodniowo w celu utrzymania lub zgodności niż w przypadku losowego próbkowania. Wzrost nie wynikał z „większej kontroli”; prawie w całości były to wezwania, których strukturalnie nie udało się uzyskać w przypadku losowego pobierania próbek.
Jeden z klientów zauważył błąd w scenariuszu windykacji — pojedynczy agent zaczął używać języka przekraczającego granicę FDCPA w przypadku około 9% jego połączeń — że losowe pobieranie próbek nie pojawiało się przez 11 tygodni. Kolejka rankingowa pojawiła się w ciągu 48 godzin od rozpoczęcia dryfu, ponieważ wynik ryzyka braku zgodności dla tych konkretnych połączeń przeskoczył o dwa odchylenia standardowe powyżej wartości bazowej agenta.
Inny klient odkrył, że agenci, których system losowych próbek oznaczył jako najmniej skutecznych, w rzeczywistości nie byli najsłabsi — byli po prostu najgłośniejsi. Kolejka rankingowa, oceniana na podstawie ryzyka wyniku, zidentyfikowała dwóch cichych, ale stale osiągających słabsze wyniki agentów, których połączenia były próbkowane z taką samą częstotliwością jak wszyscy inni i lądowały na „przeciętnym” stosie.
Trzy rzeczy, celowo.
Nie będziemy automatycznie oceniać agentów na wyjściu kolejki. Wynik jest sygnałem selekcji. Oceny wydajności agentów nadal przechodzą przez przełożonego. Celowo utrzymujemy człowieka w pętli nie dlatego, że model nie może tego zrobić, ale dlatego, że widzieliśmy wystarczającą liczbę systemów z automatyczną punktacją podważających zaufanie, aby chcieć całkowicie uniknąć tego wzorca.
Podczas rozmowy nie będziemy udostępniać agentowi aktualnego wyniku agenta. Istnieje szkoła myślenia, która mówi, że agenci powinni widzieć swoje własne wyniki coachingu w czasie rzeczywistym. Istnieje silniejsza szkoła myślenia, która twierdzi, że takie postępowanie degraduje powołanie. Jesteśmy po stronie drugiej szkoły.
Domyślnie nie będziemy eksportować wyniku do systemów zarządzania wydajnością. Klienci, którzy chcą połączyć wynik z oddzielnym narzędziem HR, mogą to zrobić za pomocą jawnej konfiguracji, ale my wybieramy opcję domyślną jako bezpieczniejszy wybór. Jeśli chcesz mieć numer w arkuszu kalkulacyjnym, powinieneś celowo o niego poprosić.
Recepcjoniści AI, trasy hurtowe, numery wirtualne – zbudowane na jednej platformie z przejrzystymi cenami i całodobowym NOC.