Drie maanden lang hebben we elk gesprek dat de AI afhandelde bijgehouden – op taal, op accent, op gesprekstype – en de transcriptie beoordeeld aan de hand van een menselijke recensent. De nauwkeurigheidscijfers waren beter dan we hadden verwacht. De faalmodi waren interessanter.
De meeste ‘AI-nauwkeurigheid’-cijfers die u in marketingteksten leest, zijn stilletjes betekenisloos. Ze benchmarken een model op een schone dataset, beoordelen de dataset met zichzelf en produceren een getal dat vrijwel niets te maken heeft met hoe het systeem presteert op een dinsdagmiddag wanneer een klant vanuit een luidruchtig magazijn belt en drie vragen tegelijk stelt.
We wilden een nummer dat iets betekende. Dus gedurende drie maanden tussen januari en maart 2026 werd elk telefoontje dat onze AI-receptionist binnen de productievloot afhandelde (in totaal 8.427 oproepen) getranscribeerd, in realtime door de AI beoordeeld en vervolgens onafhankelijk opnieuw beoordeeld door een menselijke recensent die het AI-oordeel nooit heeft gezien.
We hielden de taal, het accent (waar herkenbaar), het type oproep, het tijdstip, de lengte en het specifieke pad dat het gesprek volgde bij.
Het ging er niet om een vleiend cijfer te publiceren. Het punt was om de oproepen te vinden waarvan de AI dacht dat het was gelukt en fout was, en de oproepen waarbij de AI het probleem van de klant echt had opgelost, maar onze interne statistieken het als een misser hadden gemarkeerd. Beide klassen waren groter dan we hadden verwacht.
Er waren drie regels. In de eerste plaats: geen sprake van 'cherry-picking': elk gesprek gedurende de hele periode kwam in aanmerking, inclusief de 47 gesprekken die midden in het gesprek vastliepen en de 312 die binnen de eerste 15 seconden naar een mens werden doorverbonden. Ten tweede waren de menselijke beoordelaars blind voor de zelfbeoordeling van de AI. Ze beoordeelden de transcriptie op basis van de bedoelingen van de klant, en niet op basis van wat de AI beweerde te hebben gedaan.
Ten derde werd de rubriek gepubliceerd voordat er naar gegevens werd gekeken, om te voorkomen dat we 'succes' stilletjes opnieuw gingen definiëren zodra de cijfers binnenkwamen.
Elke oproep werd gescoord op drie onafhankelijke dimensies:
Een oproep werd alleen als een "overwinning" geteld als deze alle drie de punten had behaald: correcte intentie, voltooide taak, hygiënescore van 4 of 5. De derde poort is degene die stilletjes oproepen elimineerde die we anders successen zouden hebben genoemd.
Voor de volledige dataset met 8.427 oproepen heeft de AI alle drie de poorten vrijgegeven 91.4% van oproepen. Dat aantal was hoger dan we intern hadden voorspeld – de meesten van ons hadden weddenschappen tussen de 85 en 88%.
De kloof tussen onze voorspelling en het resultaat was niet een model dat beter werd dan we hadden verwacht; het was dat onze intuïtie werd gevormd door de oproepen die we ons herinnerden, en die onevenredig slecht waren.
Uitgesplitst naar type oproep was het verschil aanzienlijk:
Het zijn de klachten- en multi-issuenummers waar we ons op hebben gericht. Een 96% cijfer voor het boeken van afspraken is wat we verzenden om deals te winnen; een aantal van 72% op oproepen met meerdere nummers is wat we verzenden om ze te behouden.
We zijn actief in 32 talen en publiceren één nauwkeurigheidsgetal per taal. De totale kloof tussen onze beste taal (Engels-VS) en onze slechtst ondersteunde taal (Vietnamees) bedroeg 4,1 procentpunten – kleiner dan we hadden verwacht, en kleiner dan we in gepubliceerde academische benchmarks hebben gezien.
Maar de totale taalscores verbergen het deel van het probleem dat er werkelijk toe doet: accentvariantie binnen één taal. Engelse gesprekken afgehandeld in de Verenigde Staten scoorden 92,7%. Engelse gesprekken van Indiaas-Engelssprekende klanten scoorden 91,3% – ruim binnen de ruis. Engelse oproepen van sterk regionaal Schots-Engelssprekenden scoorden 83,4%. Dat is een verschil van 9 punten, en het bevindt zich volledig in de kolom met het label 'Engels'.
Het punt is niet dat ons model slecht is in het Schots Engels. Het punt is dat het publiceren van een nummer per taal, terwijl de accentvariantie niet wordt gemeten, een manier is om de oproepen te verbergen waar uw AI niet in slaagt. We rapporteren accentverschillen nu intern en we verwachten dit binnen twee kwartalen extern te publiceren.
Toen we de 723 gemiste oproepen (8,6% van de dataset) bundelden, waren vijf storingsmodi verantwoordelijk voor 81% daarvan. Geen van deze zal iemand verrassen die eerder stem-AI heeft verzonden, maar de relatieve gewichten hebben ons wel verrast.
De beller heeft twee of meer intenties en de AI verbindt zich tot de eerste voordat hij klaar is met het vermelden van de tweede. "Ik wil mijn afspraak verzetten en verkoop je ook het X-100-model" is precies het soort input dat de gespreksstatus vernietigt.
De beller verwijst naar iets dat eerder in het gesprek is gezegd en dat de AI niet als context heeft opgeslagen: een naam, een prijs, een datum. Dit is de faalmodus die het contextvenster van de volgende generatie het meest direct aanpakt.
Eindpuntfouten. De AI begint te spreken, de beller praat eroverheen, de AI hoort zijn eigen stem vermengd met die van de beller en maakt een transcript waarin de helft van de invoer ontbreekt.
De beller dicteert een telefoonnummer of adres. AI leest het terug. De beller corrigeert één cijfer. AI werkt het verkeerde cijfer bij. Dit is een 100% oplosbaar probleem met een bevestigingsprompt voor gestructureerde gegevens, en we hebben er in februari een verzonden.
De AI identificeert correct dat het de oproep niet kan oplossen en wordt doorverbonden, maar de doorschakelroutering stuurt het naar de verkeerde wachtrij. Dit is niet echt een AI-fout; het is een mislukking van het belplan die de AI blootlegt.
Drie verzonden wijzigingen kwamen rechtstreeks uit het onderzoek voort en een vierde is in ontwikkeling. We hebben geprobeerd om per foutmodus de oplossing met de hoogste hefboomwerking te leveren in plaats van de academisch interessantste.
De vierde verandering – een rijkere contextbuffer per oproep die impliciete contextdaling aanpakt – is de meest complexe van de vier en wordt in de schaduwmodus uitgeprobeerd tegen een uitgestelde oproep voordat deze live gaat.
Eén kleine bevinding die het vermelden waard is: de menselijke reviewers zwierven, ondanks een gepubliceerde rubriek, door de drie maanden heen. In de eerste maand beoordeelden reviewers 87% van de oproepen als succesvol. In maand drie beoordeelden dezelfde reviewers, die voor de tweede keer willekeurig getrokken oproepen in maand één scoorden, 91% als succesvol. De transcripties waren niet veranderd.
De drift was geen kwade trouw; het was bekendheid. Naarmate recensenten gewend raakten aan de formulering van de AI, werden ze genereuzer op het gebied van gesprekshygiëne. We hebben dit onderkend door een steekproef van 5% van de oproepen in maand één in maand drie opnieuw te scoren, en we hebben het hoofdnummer daarvoor gecorrigeerd. De hierboven gerapporteerde 91,4% is het voor drift gecorrigeerde cijfer. Het ruwe getal was 92,1%.
Als een leverancier een nauwkeurigheidsgetal publiceert zonder te beschrijven hoe hij heeft gecontroleerd op drift door menselijke beoordelaars, is het getal standaard verdacht. Wij hebben dit probleem niet uitgevonden; we hebben er gewoon aandacht aan besteed.
Drie dingen, in volgorde van prioriteit. Ten eerste de accent-opgeloste nauwkeurigheid binnen elke belangrijke ondersteunde taal – en een publieke toezegging om deze te publiceren zodra de methodologie zich stabiliseert. Ten tweede: nauwkeurigheid van de uitkomst na het gesprek: heeft de beller daadwerkelijk ontvangen waarvoor hij kwam, gemeten 7 en 30 dagen na het gesprek, door afstemming met het downstreamsysteem van de klant.
Ten derde het nummer voor de kosten per opgeloste oproep dat nauwkeurigheid combineert met de economie per minuut – omdat een 98% nauwkeurige AI die €1,40/min kost, verliest van een 92% nauwkeurige AI die €0,18/min kost, voor vrijwel elk echt bedrijf.
We zullen de volgende reeks cijfers in het derde kwartaal publiceren. Als ze achteruitgang vertonen, zullen we dat ook publiceren. Het punt van het meten van dit soort dingen is niet het vinden van een flatterende grafiek; het is het vinden van de telefoontjes die we nog steeds verkeerd krijgen.
AI-receptionisten, groothandelsroutes, virtuele nummers – gebouwd op één platform met transparante prijzen en een 24/7 NOC.