Zmierzyliśmy dokładność recepcjonistów AI w 8400 rzeczywistych połączeniach

Wstęp

Większość liczb dotyczących „dokładności sztucznej inteligencji”, które czytasz w materiałach marketingowych, jest po cichu bez znaczenia. Porównują model na czystym zbiorze danych, porównują zbiór danych z samym sobą i uzyskują liczbę, która nie ma prawie nic wspólnego z działaniem systemu we wtorkowe popołudnie, kiedy klient dzwoni z hałaśliwego magazynu i zadaje trzy pytania na raz.

Chcieliśmy numeru, który coś znaczy. Tak więc przez trzy miesiące, od stycznia do marca 2026 r., każde połączenie, które nasza recepcjonistka AI obsługiwała w całej flocie produkcyjnej – łącznie 8427 połączeń – było transkrybowane, oceniane przez sztuczną inteligencję w czasie rzeczywistym, a następnie niezależnie ponownie oceniane przez weryfikatora, który nigdy nie widział werdyktu AI.

Śledziliśmy język, akcent (jeśli można go zidentyfikować), rodzaj połączenia, porę dnia, długość i konkretną ścieżkę, jaką obrała rozmowa.

Nie chodziło o opublikowanie pochlebnej liczby. Chodziło o znalezienie rozmów, w przypadku których sztuczna inteligencja myślała, że ​​się udało, ale się myliła, oraz rozmów, w których sztuczna inteligencja rzeczywiście rozwiązała problem klienta, ale nasze wewnętrzne wskaźniki oznaczyły to jako nieudane. Obie klasy były większe, niż się spodziewaliśmy.

Jak próbkowaliśmy i ocenialiśmy rozmowy

Były trzy zasady. Po pierwsze, żadnego selekcjonowania: kwalifikowało się każde połączenie w tym okresie, w tym 47 połączeń, które uległy awarii w połowie rozmowy i 312, które zostały przekazane człowiekowi w ciągu pierwszych 15 sekund. Po drugie, weryfikatorzy byli ślepi na samoocenę sztucznej inteligencji — ocenili transkrypcję zgodnie z intencjami klienta, a nie z tym, co twierdziła sztuczna inteligencja.

Po trzecie, rubrykę opublikowano przed sprawdzeniem jakichkolwiek danych, abyśmy nie po cichu przedefiniowali „sukcesu”, gdy tylko pojawią się liczby.

Każde połączenie oceniane było w trzech niezależnych wymiarach:

• Przechwytywanie intencji — czy sztuczna inteligencja poprawnie zidentyfikowała, co tak naprawdę próbował zrobić dzwoniący? (Binarny: tak/nie.)
• Zakończenie zadania — czy deklarowana przez rozmówcę potrzeba rzeczywiście została rozwiązana w ramach tej rozmowy, czy też wymagała dalszej interwencji człowieka, o którą dzwoniący nie prosił?
• Higiena rozmowy — czy transkrypcja nie zawierała halucynacji, fałszywych obietnic i sprzeczności? Ocena od 1 do 5 przez recenzenta.

Zapowiedź była liczona jako „wygrana” tylko wtedy, gdy spełniała wszystkie trzy kryteria: poprawny zamiar, wykonanie zadania, wynik higieny na poziomie 4 lub 5. Trzecia bramka to ta, która po cichu wyeliminowała wezwania, które w przeciwnym razie nazwalibyśmy sukcesem.

Numery nagłówkowe

W całym zestawie danych obejmującym 8427 połączeń sztuczna inteligencja wyczyściła wszystkie trzy bramki 91.4% połączeń. Liczba ta była wyższa, niż przewidywaliśmy wewnętrznie – większość z nas obstawiała w przedziale 85–88%.

Różnica między naszymi przewidywaniami a wynikiem nie oznaczała, że ​​model stał się lepszy, niż się spodziewaliśmy; chodziło o to, że naszą intuicję kształtowały zapamiętywane wezwania, które były nieproporcjonalnie złe.

W podziale na rodzaj połączenia różnica była znacząca:

• Rezerwacja terminu — 96,1% (najprostsza ścieżka, dobrze przećwiczony zamiar)
• Informacje ogólne — 93,8% (godziny, lokalizacja, usługi)
• Zapytania cenowe — 89,2% (niektóre ścieżki cenowe wymagały ujednoznacznienia)
• Anulowanie/zmiana terminu — 87.6%
• Reklamacje i eskalacje — 78.3%
• Połączenia wielozadaniowe — 71,9% (dwa lub więcej niezależnych zamiarów w tym samym zaproszeniu)

Skupiliśmy się na numerach skarg i wielu problemów. 96% liczby rezerwacji spotkań to to, co wysyłamy, aby wygrać oferty; Aby je zatrzymać, wysyłamy numer 72% w przypadku połączeń obejmujących wiele problemów.

Język i akcent: gdzie mieszkały niespodzianki

Działamy w 32 językach i publikujemy jeden numer dokładności dla każdego języka. Łączna różnica między naszym najlepszym językiem (angielski-amerykański) a językiem najgorzej obsługiwanym (wietnamski) wyniosła 4,1 punktu procentowego – mniej niż oczekiwaliśmy i węższy niż wynikało z opublikowanych wskaźników akademickich.

Jednak zbiorcze wyniki językowe ukrywają część problemu, która faktycznie ma znaczenie: różnice w akcentach w obrębie jednego języka. Połączenia w języku angielskim obsługiwane w Stanach Zjednoczonych uzyskały 92,7%. Połączenia anglojęzyczne od klientów indyjsko-angielskojęzycznych uzyskały wynik 91,3%, co mieściło się w granicach hałasu. Telefony po angielsku z mocno regionalny Osoby posługujące się językiem szkocko-angielskim uzyskały 83,4%. Jest to 9-punktowa różnica, która w całości mieści się w kolumnie zatytułowanej „Angielski”.

Nie chodzi o to, że nasz model jest kiepski w szkockim angielskim. Chodzi o to, że opublikowanie numeru dla każdego języka, pozostawiając niezmierzoną różnicę akcentów, jest sposobem na ukrycie połączeń, z którymi nie radzi sobie sztuczna inteligencja. Obecnie zgłaszamy różnice w akcentach wewnętrznie i spodziewamy się opublikować je zewnętrznie w ciągu dwóch kwartałów.

Pięć trybów awarii, które wyjaśniają 80% chybień

Kiedy połączyliśmy 723 nieodebrane połączenia (8,6% zbioru danych), pięć trybów awarii stanowiło 81% z nich. Żadne z nich nie zaskoczy nikogo, kto już wcześniej dostarczał głosową sztuczną inteligencję, ale względne wagi nas zaskoczyły.

1. Układanie zamiarów (29% chybień)

Osoba wywołująca ma co najmniej dwie intencje, a sztuczna inteligencja realizuje pierwszą, zanim zakończy określanie drugiej. „Chcę przełożyć wizytę, a także czy sprzedajesz model X-100” – to dokładnie ten rodzaj informacji, który burzy stan rozmowy.

2. Spadek kontekstu ukrytego (22%)

Rozmówca odwołuje się do czegoś, co zostało powiedziane wcześniej w rozmowie, a czego sztuczna inteligencja nie zachowała jako kontekstu – do nazwy, ceny, daty. Jest to tryb awarii, na który najbardziej bezpośrednio wpływa okno kontekstowe nowej generacji.

3. Rozmówca rozmawiał przez monit (15%)

Błędy punktów końcowych. Sztuczna inteligencja zaczyna mówić, rozmówca przez to mówi, sztuczna inteligencja słyszy swój własny głos zmieszany z głosem dzwoniącego i tworzy transkrypcję, w której brakuje połowy danych wejściowych.

4. Błędy odczytu liczb (9%)

Osoba dzwoniąca dyktuje numer telefonu lub adres. AI odczytuje to z powrotem. Osoba dzwoniąca poprawia jedną cyfrę. AI aktualizuje niewłaściwą cyfrę. Jest to problem, który można w 100% naprawić za pomocą monitu o potwierdzenie danych strukturalnych. Wysłaliśmy go w lutym.

5. Fałszywe przekazanie (6%)

Sztuczna inteligencja poprawnie identyfikuje, że nie może obsłużyć połączenia i transferu, ale routing transferu wysyła go do niewłaściwej kolejki. To naprawdę nie jest awaria sztucznej inteligencji; jest to awaria planu wybierania numeru, którą ujawnia sztuczna inteligencja.

Co wysłaliśmy w wyniku tego badania

Trzy dostarczone zmiany powstały bezpośrednio w wyniku badania, a czwarta jest w fazie opracowywania. Staraliśmy się dostarczać poprawki o największym wpływie na każdy tryb awarii, a nie najbardziej interesujące z naukowego punktu widzenia.

• Detektor wielozadaniowy. Mały klasyfikator działający równolegle z przechwytywaniem intencji i flagowaniem wypowiedzi zawierających co najmniej dwie niezależne intencje. Po oznaczeniu rozmowa zostaje wstrzymana, a sztuczna inteligencja wyraźnie wylicza: „Słyszałem, że chcesz przełożyć wizytę i pytałeś także o X-100. Najpierw przełóżmy wizytę – czy to w porządku?” Klasyfikator dodał 11 ms opóźnienia i zmniejszył liczbę błędnych zamiarów o 64%.
• Potwierdzenie numeru strukturalnego. Każdy numer telefonu, adres lub kwota jest teraz potwierdzana cyfra po cyfrze podczas odczytu zwrotnego za pomocą jednocyfrowego modułu obsługi edycji. Liczba błędnych odczytów liczbowych spadła o 88%.
• Ponowna kalibracja punktów końcowych. Ponownie dostroiliśmy próg ciszy dla każdego języka i dodaliśmy pytanie „czy skończyłeś tę myśl?” odzyskiwanie w przypadku podejrzenia obcięcia. Liczba niepowodzeń w rozmowach spadła z 15% do 9% zestawu chybień.

Czwarta zmiana — bogatszy bufor kontekstu dla każdego połączenia, który rozwiązuje problem utraty kontekstu niejawnego — jest najbardziej złożoną z czterech i jest testowana w trybie cienia w stosunku do zestawu wstrzymanych połączeń, zanim zostanie uruchomiona.

Uwaga na temat dryfu równiarki ludzkiej

Jedno małe odkrycie, które warto wymienić: recenzenci, pomimo opublikowanej rubryki, poruszali się przez trzy miesiące. W pierwszym miesiącu recenzenci uznali 87% połączeń za udane. W trzecim miesiącu ci sami recenzenci, oceniając losowo wylosowane rozmowy telefoniczne z pierwszego miesiąca po raz drugi, uznali 91% za udane. Transkrypcje nie uległy zmianie.

Ten dryf nie był wynikiem złej wiary; to była znajomość. Gdy recenzenci przyzwyczaili się do sformułowań sztucznej inteligencji, stali się bardziej hojni w kwestii higieny rozmowy. Złapaliśmy ten problem, ponownie oceniając 5% próbę połączeń z pierwszego miesiąca w trzecim miesiącu i poprawiliśmy pod kątem tego numer nagłówka. Podane powyżej 91,4% to liczba skorygowana o dryf. Wartość surowa wyniosła 92,1%.

Jeśli sprzedawca publikuje liczbę dokładności bez opisu sposobu kontrolowania odchylenia sortownika przez człowieka, liczba ta jest domyślnie podejrzana. Nie wymyśliliśmy tego problemu; po prostu zwróciliśmy na to uwagę.

Co będziemy dalej mierzyć

Trzy rzeczy, w kolejności priorytetów. Po pierwsze, dokładność rozpoznawania akcentów w każdym głównym obsługiwanym języku oraz publiczne zobowiązanie do opublikowania go po ustabilizowaniu się metodologii. Po drugie, dokładność wyników po rozmowie telefonicznej: czy osoba dzwoniąca rzeczywiście otrzymała to, po co przyszła, mierzona 7 i 30 dni po rozmowie na podstawie uzgodnienia z dalszym systemem klienta.

Po trzecie, koszt rozwiązanego numeru połączenia, który łączy dokładność z ekonomiką minutową — ponieważ sztuczna inteligencja o dokładności w 98%, która kosztuje 1,40 USD/min, przegrywa z sztuczną inteligencją o dokładności 92%, która kosztuje 0,18 USD/min w przypadku niemal każdej prawdziwej firmy.

Kolejny zestaw liczb opublikujemy w III kwartale. Jeśli wykażą regresję, to również opublikujemy. Celem pomiaru tych rzeczy nie jest znalezienie pochlebnego wykresu; jest znalezienie połączeń, które wciąż źle odbieramy.