Drei Monate lang verfolgten wir jeden Anruf, den die KI bearbeitete – nach Sprache, Akzent, Anruftyp – und bewerteten das Transkript anhand eines menschlichen Prüfers. Die Genauigkeitswerte waren besser als wir erwartet hatten. Interessanter waren die Fehlermodi.
Die meisten Zahlen zur „KI-Genauigkeit“, die Sie in Marketingtexten lesen, sind im Grunde genommen bedeutungslos. Sie vergleichen ein Modell mit einem sauberen Datensatz, bewerten den Datensatz mit sich selbst und erzeugen eine Zahl, die fast nichts mit der Leistung des Systems an einem Dienstagnachmittag zu tun hat, wenn ein Kunde aus einem lauten Lagerhaus anruft und drei Fragen gleichzeitig stellt.
Wir wollten eine Zahl, die etwas bedeutet. Drei Monate lang zwischen Januar und März 2026 wurde also jeder Anruf, den unsere KI-Rezeptionistin in der gesamten Produktionsflotte bearbeitete – insgesamt 8.427 Anrufe – transkribiert, von der KI in Echtzeit bewertet und anschließend unabhängig von einem menschlichen Prüfer neu bewertet, der das KI-Urteil nie zu Gesicht bekam.
Wir haben Sprache, Akzent (sofern erkennbar), Anrufart, Tageszeit, Länge und den spezifischen Verlauf des Gesprächs verfolgt.
Es ging nicht darum, eine schmeichelhafte Zahl zu veröffentlichen. Es ging darum, die Anrufe zu finden, bei denen die KI dachte, dass sie erfolgreich waren und falsch lagen, und die Anrufe, bei denen die KI das Problem des Kunden tatsächlich gelöst hatte, unsere internen Kennzahlen es aber als Fehlschlag markiert hatten. Beide Klassen waren größer als wir erwartet hatten.
Es gab drei Regeln. Erstens keine Rosinenpickerei: Jeder Anruf im gesamten Zeitraum war berechtigt, einschließlich der 47 Anrufe, die mitten im Gespräch abstürzten, und der 312, die innerhalb der ersten 15 Sekunden an einen Menschen weitergeleitet wurden. Zweitens waren die menschlichen Prüfer blind für die Selbsteinschätzung der KI – sie bewerteten das Transkript anhand der erklärten Absicht des Kunden, nicht anhand dessen, was die KI angeblich getan hatte.
Drittens wurde die Rubrik veröffentlicht, bevor die Daten eingesehen wurden, um zu verhindern, dass wir „Erfolg“ stillschweigend neu definieren, sobald die Zahlen vorliegen.
Jeder Anruf wurde anhand von drei unabhängigen Dimensionen bewertet:
Ein Anruf wurde nur dann als „Gewinn“ gewertet, wenn er alle drei Kriterien erfüllte: richtige Absicht, abgeschlossene Aufgabe, Hygienebewertung von 4 oder 5. Das dritte Tor ist dasjenige, das Anrufe stillschweigend eliminierte, die wir sonst als Erfolg bezeichnet hätten.
Im gesamten Datensatz mit 8.427 Anrufen hat die KI alle drei Gates freigegeben 91.4% von Anrufen. Diese Zahl war höher als wir intern vorhergesagt hatten – die meisten von uns hatten Wetten im Bereich von 85–88 %.
Die Lücke zwischen unserer Vorhersage und dem Ergebnis bestand nicht darin, dass das Modell besser wurde als erwartet; Es lag daran, dass unsere Intuition durch die Anrufe geprägt wurde, an die wir uns erinnerten, und die überproportional schlecht waren.
Nach Anruftyp aufgeschlüsselt war die Abweichung erheblich:
Auf die Beschwerde- und Multi-Issue-Nummern haben wir uns konzentriert. Eine 96-prozentige Anzahl an Terminbuchungen ist das, was wir versenden, um Deals zu gewinnen; Um diese beizubehalten, liefern wir eine 72-prozentige Anzahl an Multi-Issue-Anrufen.
Wir sind in 32 Sprachen tätig und veröffentlichen eine einzige Genauigkeitszahl pro Sprache. Der Gesamtunterschied zwischen unserer besten Sprache (Englisch-USA) und unserer am schlechtesten unterstützten Sprache (Vietnamesisch) betrug 4,1 Prozentpunkte – kleiner als wir erwartet hatten und kleiner als in veröffentlichten akademischen Benchmarks festgestellt wurde.
Aber aggregierte Sprachwerte verbergen den Teil des Problems, der wirklich wichtig ist: die Akzentvarianz innerhalb einer einzelnen Sprache. In den USA abgewickelte englischsprachige Anrufe erreichten einen Wert von 92,7 %. Englische Anrufe von indisch-englischsprachigen Kunden erreichten 91,3 % – weit im Vergleich zum Lärm. Englische Anrufe von stark regional Schottisch-Englisch sprechende Personen erreichten 83,4 %. Das ist ein Abstand von 9 Punkten, und er befindet sich vollständig in der Spalte mit der Bezeichnung „Englisch“.
Der Punkt ist nicht, dass unser Modell schlecht im schottischen Englisch ist. Der Punkt ist, dass die Veröffentlichung einer Zahl pro Sprache, ohne dass die Akzentvarianz gemessen wird, eine Möglichkeit darstellt, die Anrufe zu verbergen, bei denen Ihre KI versagt. Wir berichten jetzt intern über Akzentabweichungen und gehen davon aus, diese innerhalb von zwei Quartalen extern zu veröffentlichen.
Als wir die 723 verpassten Anrufe (8,6 % des Datensatzes) gruppierten, waren 81 % davon auf fünf Fehlermodi zurückzuführen. Nichts davon wird jemanden überraschen, der schon einmal Sprach-KI geliefert hat, aber die relativen Gewichte haben uns überrascht.
Der Anrufer hat zwei oder mehr Absichten und die KI verpflichtet sich zur ersten, bevor sie mit der Angabe der zweiten fertig ist. „Ich möchte meinen Termin verschieben und verkaufen Sie auch das X-100-Modell“ ist genau die Art von Eingabe, die den Gesprächszustand zerstört.
Der Anrufer bezieht sich auf etwas, das zuvor im Gespräch gesagt wurde und das die KI nicht als Kontext gespeichert hat – einen Namen, einen Preis, ein Datum. Dies ist der Fehlermodus, den das Kontextfenster der nächsten Generation am direktesten anspricht.
Endpointing-Fehler. Die KI beginnt zu sprechen, der Anrufer spricht darüber, die KI hört ihre eigene Stimme gemischt mit der des Anrufers und erstellt ein Transkript, dem die Hälfte der Eingabe fehlt.
Der Anrufer diktiert eine Telefonnummer oder Adresse. KI liest es zurück. Anrufer korrigiert eine Ziffer. KI aktualisiert die falsche Ziffer. Dies ist ein zu 100 % behebbares Problem mit einer Bestätigungsaufforderung für strukturierte Daten, und wir haben eines im Februar ausgeliefert.
Die KI erkennt korrekt, dass sie den Anruf nicht lösen kann, und leitet ihn weiter – aber die Weiterleitung leitet ihn an die falsche Warteschlange weiter. Dies ist nicht wirklich ein KI-Fehler; Es handelt sich um einen Wählplanfehler, den die KI aufdeckt.
Drei ausgelieferte Änderungen sind direkt aus der Studie hervorgegangen und eine vierte befindet sich in der Entwicklung. Wir haben versucht, den Fix mit der höchsten Hebelwirkung pro Fehlermodus bereitzustellen und nicht den akademisch interessantesten.
Die vierte Änderung – ein umfangreicherer Kontextpuffer pro Aufruf, der den impliziten Kontextverlust behebt – ist die komplexeste der vier und wird im Schattenmodus gegen einen zurückgehaltenen Aufrufsatz getestet, bevor sie live geht.
Eine kleine Erkenntnis, die es wert ist, erwähnt zu werden: Die menschlichen Rezensenten schwankten trotz einer veröffentlichten Rubrik über die drei Monate hinweg. Im ersten Monat bewerteten die Prüfer 87 % der Anrufe als erfolgreich. Im dritten Monat bewerteten dieselben Gutachter die nach dem Zufallsprinzip gezogenen Anrufe aus dem ersten Monat ein zweites Mal und bewerteten 91 % als erfolgreich. Die Transkripte hatten sich nicht geändert.
Die Abweichung war keine böse Absicht; es war Vertrautheit. Als sich die Rezensenten an die Formulierungen der KI gewöhnten, wurden sie großzügiger in Bezug auf die Dimension der Gesprächshygiene. Wir haben dies festgestellt, indem wir eine 5 %-Stichprobe der Anrufe im ersten Monat im dritten Monat erneut bewertet und die Schlagzeilenzahl entsprechend korrigiert haben. Die oben angegebenen 91,4 % sind die driftkorrigierte Zahl. Die Rohzahl betrug 92,1 %.
Wenn ein Anbieter eine Genauigkeitszahl veröffentlicht, ohne zu beschreiben, wie er die Drift durch menschliche Grader kontrolliert hat, ist die Zahl standardmäßig verdächtig. Wir haben dieses Problem nicht erfunden; wir haben einfach darauf geachtet.
Drei Dinge, in der Reihenfolge ihrer Priorität. Erstens akzentaufgelöste Genauigkeit in jeder wichtigen unterstützten Sprache – und eine öffentliche Verpflichtung, sie zu veröffentlichen, sobald sich die Methodik stabilisiert. Zweitens: Genauigkeit der Ergebnisse nach dem Anruf: Hat der Anrufer tatsächlich das erhalten, was er wollte, gemessen 7 und 30 Tage nach dem Anruf durch Abgleich mit dem nachgelagerten System des Kunden?
Drittens die Zahl der Kosten pro gelöstem Anruf, die Genauigkeit mit der Wirtschaftlichkeit pro Minute verbindet – denn eine 98 % genaue KI, die 1,40 $/Minute kostet, verliert bei fast jedem echten Unternehmen gegen eine 92 % genaue KI, die 0,18 $/Minute kostet.
Die nächsten Zahlen werden wir im dritten Quartal veröffentlichen. Wenn sie eine Regression zeigen, werden wir das auch veröffentlichen. Bei der Messung dieser Dinge geht es nicht darum, ein schmeichelhaftes Diagramm zu finden; Es geht darum, die Anrufe zu finden, die wir immer noch falsch verstehen.
KI-Rezeptionisten, Großhandelsrouten, virtuelle Nummern – aufgebaut auf einer Plattform mit transparenten Preisen und einem 24/7-NOC.