Kami mengukur akurasi resepsionis AI pada 8.400 panggilan nyata

Perkenalan

Sebagian besar angka "akurasi AI" yang Anda baca di salinan pemasaran tidak ada artinya. Mereka melakukan benchmark pada model pada kumpulan data yang bersih, menilai kumpulan data tersebut terhadap kumpulan data itu sendiri, dan menghasilkan angka yang hampir tidak ada hubungannya dengan kinerja sistem pada Selasa sore ketika pelanggan menelepon dari gudang yang berisik dan menanyakan tiga pertanyaan sekaligus.

Kami menginginkan nomor yang berarti. Jadi selama tiga bulan antara Januari dan Maret 2026, setiap panggilan yang ditangani resepsionis AI kami di seluruh armada produksi — total 8.427 panggilan — ditranskrip, dinilai oleh AI secara real-time, kemudian dinilai ulang secara independen oleh peninjau manusia yang tidak pernah melihat keputusan AI.

Kami melacak bahasa, aksen (jika dapat diidentifikasi), jenis panggilan, waktu, durasi, dan jalur spesifik percakapan.

Intinya bukanlah untuk mempublikasikan angka yang menyanjung. Intinya adalah untuk menemukan panggilan-panggilan yang menurut AI telah berhasil namun ternyata salah, dan panggilan-panggilan yang AI-nya benar-benar memecahkan masalah pelanggan namun metrik internal kami telah menandainya sebagai kegagalan. Kedua kelas lebih besar dari yang kami harapkan.

Bagaimana kami mengambil sampel dan menilai panggilan tersebut

Ada tiga aturan. Pertama, tidak boleh pilih-pilih: setiap panggilan selama periode tersebut memenuhi syarat, termasuk 47 panggilan yang terhenti di tengah percakapan dan 312 panggilan yang dialihkan ke manusia dalam 15 detik pertama. Kedua, peninjau manusia tidak mengetahui penilaian mandiri yang dilakukan AI — mereka menilai transkrip berdasarkan maksud yang dinyatakan pelanggan, bukan berdasarkan apa pun yang diklaim AI telah dilakukan.

Ketiga, rubrik ini diterbitkan sebelum data apa pun diperiksa, agar kita tidak diam-diam mendefinisikan ulang “kesuksesan” begitu angkanya masuk.

Setiap panggilan dinilai pada tiga dimensi independen:

• Penangkapan maksud — apakah AI dengan benar mengidentifikasi apa yang sebenarnya coba dilakukan oleh penelepon? (Biner: ya/tidak.)
• Penyelesaian tugas — apakah kebutuhan yang dinyatakan penelepon benar-benar teratasi melalui panggilan ini, atau apakah hal ini memerlukan tindak lanjut manusia yang tidak diminta oleh penelepon?
• Kebersihan percakapan — apakah transkrip tersebut bebas dari halusinasi, janji palsu, atau kontradiksi? Dinilai 1–5 oleh pengulas.

Sebuah panggilan hanya dihitung sebagai "kemenangan" jika berhasil menyelesaikan ketiganya: niat benar, tugas selesai, skor kebersihan 4 atau 5. Gerbang ketiga adalah gerbang yang secara diam-diam menghilangkan panggilan yang seharusnya kita sebut sukses.

Nomor judulnya

Dari seluruh kumpulan data 8.427 panggilan, AI berhasil mengaktifkan ketiga gerbang tersebut 91.4% panggilan. Angka tersebut lebih tinggi dari perkiraan kami secara internal — sebagian besar dari kami bertaruh pada kisaran 85–88%.

Kesenjangan antara prediksi kami dan hasilnya bukanlah model yang lebih baik dari yang kami harapkan; intuisi kita dibentuk oleh panggilan-panggilan yang kita ingat, yang sebagian besar merupakan panggilan-panggilan buruk.

Dipecah berdasarkan jenis panggilan, perbedaannya signifikan:

• Pemesanan janji temu — 96,1% (jalur paling sederhana, niat yang telah dilatih dengan baik)
• Informasi umum — 93,8% (jam, lokasi, layanan)
• Pertanyaan harga — 89,2% (beberapa jalur penetapan harga memerlukan disambiguasi)
• Pembatalan/penjadwalan ulang — 87.6%
• Keluhan dan eskalasi — 78.3%
• Panggilan multi-masalah — 71,9% (dua atau lebih maksud independen dalam panggilan yang sama)

Nomor pengaduan dan multi-masalah adalah yang kami fokuskan. Angka 96% pada pemesanan janji temu adalah apa yang kami kirimkan untuk memenangkan kesepakatan; angka 72% pada panggilan multi-masalah adalah apa yang kami kirimkan untuk mempertahankannya.

Bahasa dan aksen: tempat terjadinya kejutan

Kami beroperasi dalam 32 bahasa dan kami menerbitkan satu angka akurasi per bahasa. Kesenjangan agregat antara bahasa terbaik kami (Inggris-AS) dan bahasa yang paling tidak didukung (Vietnam) adalah 4,1 poin persentase — lebih kecil dari perkiraan kami, dan lebih sempit dari yang kami lihat dalam tolok ukur akademik yang dipublikasikan.

Namun skor agregat bahasa menyembunyikan bagian dari masalah yang sebenarnya penting: varians aksen dalam satu bahasa. Panggilan berbahasa Inggris yang ditangani di Amerika Serikat memperoleh skor 92,7%. Panggilan berbahasa Inggris dari pelanggan berbahasa India-Inggris memperoleh skor 91,3% — termasuk dalam tingkat kebisingan. Panggilan bahasa Inggris dari sangat regional Penutur bahasa Skotlandia-Inggris mendapat skor 83,4%. Itu adalah selisih 9 poin, dan seluruhnya berada di dalam kolom berlabel "Bahasa Inggris".

Intinya bukan karena model kita buruk dalam bahasa Inggris Skotlandia. Intinya adalah memublikasikan nomor per bahasa, sambil membiarkan varian aksen tidak terukur, adalah cara menyembunyikan panggilan yang gagal dilakukan oleh AI Anda. Kami sekarang melaporkan varian aksen secara internal, dan kami berharap dapat mempublikasikannya secara eksternal dalam waktu dua kuartal.

Lima mode kegagalan yang menjelaskan 80% kesalahan

Saat kami mengelompokkan 723 panggilan tidak terjawab (8,6% dari kumpulan data), lima mode kegagalan menyumbang 81% di antaranya. Semua ini tidak akan mengejutkan siapa pun yang pernah mengirimkan AI suara sebelumnya, tetapi bobot relatifnya memang mengejutkan kami.

1. Penumpukan niat (29% meleset)

Penelepon memiliki dua maksud atau lebih dan AI berkomitmen pada maksud pertama sebelum mereka selesai menyatakan maksud kedua. "Saya ingin menjadwal ulang janji temu saya dan apakah Anda juga menjual model X-100" adalah masukan yang tepat untuk menghentikan pembicaraan.

2. Penurunan konteks implisit (22%)

Penelepon merujuk pada sesuatu yang dikatakan sebelumnya dalam percakapan yang tidak disimpan oleh AI sebagai konteks – nama, harga, tanggal. Ini adalah mode kegagalan yang paling langsung ditangani oleh jendela konteks generasi berikutnya.

3. Penelepon membicarakan perintah tersebut (15%)

Mengakhiri kegagalan. AI mulai berbicara, penelepon membicarakannya, AI mendengar suaranya sendiri bercampur dengan suara penelepon dan menghasilkan transkrip yang kehilangan separuh inputnya.

4. Kesalahan pembacaan kembali angka (9%)

Penelepon menentukan nomor telepon atau alamat. AI membacanya kembali. Penelepon mengoreksi satu digit. AI memperbarui digit yang salah. Ini adalah masalah yang 100% dapat diperbaiki dengan permintaan konfirmasi data terstruktur, dan kami mengirimkannya pada bulan Februari.

5. Serah terima yang salah (6%)

AI dengan tepat mengidentifikasi bahwa ia tidak dapat menyelesaikan panggilan dan transfer — tetapi perutean transfer mengirimkannya ke antrean yang salah. Ini sebenarnya bukan kegagalan AI; ini adalah kegagalan dial-plan yang diungkap oleh AI.

Apa yang kami kirimkan karena penelitian ini

Tiga perubahan yang dikirimkan merupakan hasil langsung dari penelitian ini, dan perubahan keempat sedang dalam pengembangan. Kami mencoba memberikan mode perbaikan per kegagalan dengan leverage tertinggi, bukan mode yang paling menarik secara akademis.

• Detektor multi-maksud. Pengklasifikasi kecil yang berjalan secara paralel dengan penangkapan maksud dan menandai ucapan yang berisi dua atau lebih maksud yang independen. Saat ditandai, percakapan terhenti dan AI secara eksplisit menyebutkan: "Saya dengar Anda ingin menjadwal ulang dan Anda juga bertanya tentang X-100. Ayo lakukan penjadwalan ulang dulu — boleh?" Pengklasifikasi menambahkan latensi 11 md dan mengurangi kesalahan penumpukan niat sebesar 64%.
• Konfirmasi nomor terstruktur. Nomor telepon, alamat, atau jumlah apa pun kini dikonfirmasi digit demi digit saat dibaca kembali, dengan pengendali edit satu digit. Kesalahan pembacaan kembali angka turun 88%.
• Kalibrasi ulang titik akhir. Kami menyetel ulang ambang keheningan per bahasa dan menambahkan kalimat "apakah Anda sudah menyelesaikan pemikiran itu?" pemulihan pada dugaan pemotongan. Kegagalan pembicaraan turun dari 15% menjadi 9% dari jumlah kegagalan yang ditetapkan.

Perubahan keempat – buffer konteks per panggilan yang lebih kaya yang mengatasi penurunan konteks implisit – adalah yang paling kompleks dari keempatnya, dan sedang diuji coba dalam mode bayangan terhadap set panggilan yang ditunda sebelum diterapkan.

Catatan tentang penyimpangan siswa kelas manusia

Satu temuan kecil yang patut disebutkan: para pengulas manusia, meskipun rubriknya diterbitkan, hanya bertahan selama tiga bulan. Pada bulan pertama, pengulas menandai 87% panggilan berhasil. Pada bulan ketiga, pengulas yang sama, yang menilai panggilan bulan pertama secara acak untuk kedua kalinya, menandai 91% sebagai berhasil. Transkripnya tidak berubah.

Penyimpangan tersebut bukanlah itikad buruk; itu adalah keakraban. Saat pengulas terbiasa dengan ungkapan AI, mereka menjadi lebih bermurah hati pada dimensi kebersihan percakapan. Kami menangkap hal ini dengan menilai ulang 5% sampel panggilan bulan pertama di bulan ketiga, dan kami mengoreksi nomor judulnya. 91,4% yang dilaporkan di atas adalah angka yang dikoreksi penyimpangan. Angka mentahnya adalah 92,1%.

Jika vendor memublikasikan nomor akurasi tanpa menjelaskan cara mereka mengontrol penyimpangan penilai manusia, secara default nomor tersebut dicurigai. Kami tidak menciptakan masalah ini; kami hanya memperhatikannya.

Apa yang kami ukur selanjutnya

Tiga hal, dalam urutan prioritas. Pertama, akurasi penyelesaian aksen dalam setiap bahasa utama yang didukung — dan komitmen publik untuk mempublikasikannya setelah metodologinya stabil. Kedua, akurasi hasil pasca panggilan: apakah penelepon benar-benar menerima barang yang mereka datangi, diukur 7 dan 30 hari setelah panggilan dengan melakukan rekonsiliasi dengan sistem hilir pelanggan.

Ketiga, jumlah biaya per panggilan yang diselesaikan yang menggabungkan akurasi dengan keekonomian per menit — karena AI yang 98% akurat dengan biaya $1,40/menit kalah dengan AI 92% akurat yang berharga $0,18/menit, untuk hampir semua bisnis nyata.

Kami akan mempublikasikan kumpulan angka berikutnya di Q3. Jika mereka menunjukkan kemunduran, kami akan mempublikasikannya juga. Tujuan mengukur hal ini bukanlah untuk menemukan grafik yang bagus; itu untuk menemukan panggilan yang masih salah.