Pengambilan sampel acak melewatkan panggilan yang benar-benar penting. Kami membangun kembali konsol supervisor berdasarkan skor risiko — dan berhenti menganggap QA adalah permainan angka.
Selama dua dekade, industri pusat kontak menyepakati sebuah proses: seorang penyelia akan secara acak mengambil sampel sejumlah kecil panggilan yang terekam — biasanya 2 hingga 5 per agen per minggu — menilainya berdasarkan rubrik 30 baris, dan menggabungkan skor tersebut ke dalam laporan pelatihan. Seluruh industri dibangun berdasarkan praktik ini. Vendor menjual kartu skor. Auditor memvalidasi rubrik. Konferensi mempunyai jalur untuk itu.
Perhitungannya tidak pernah berhasil. Pusat kontak dengan 1.000 agen yang menangani 200.000 panggilan per minggu, mengambil sampel 2% per agen, memberi Anda 40.000 skor panggilan — yang kedengarannya sangat banyak sampai Anda menyadari bahwa sampelnya acak secara seragam di seluruh panggilan yang 99% tidak berbahaya.
Mengambil sampel 40.000 percakapan acak untuk menemukan 60 panggilan di mana agen melakukan pelanggaran kepatuhan adalah definisi seperti jarum di tumpukan jerami. Pada saat tumpukan jerami telah disortir, agen telah berpindah, pelanggan telah berpindah, dan pelanggaran semakin parah.
Inti dari QA bukanlah untuk mencetak rata-rata panggilan. Hal ini dilakukan untuk menemukan panggilan-panggilan yang penting - kegagalan, penyelamatan, kasus-kasus ekstrem, percakapan di mana agen melakukan sesuatu yang luar biasa atau mengkhawatirkan. Pengambilan sampel acak secara struktural buruk dalam menemukan salah satu dari hal tersebut.
Ada dua hal yang cukup berubah untuk membuat model lama jelas-jelas rusak. Pertama, kualitas transkripsi telah melampaui batas kegunaannya — di sebagian besar bahasa utama, transkrip kini cukup andal untuk dinilai dengan perangkat lunak, tidak hanya dengan telinga manusia.
Kedua, model bahasa besar menjadi cukup baik dalam klasifikasi terawasi sehingga model yang dilatih khusus dapat mencetak panggilan pada 30 dimensi dalam 4 detik dengan biaya kurang dari satu sen.
Hal ini berarti bahwa untuk pertama kalinya dalam sejarah pusat kontak, setiap panggilan dapat dinilai berdasarkan rubrik — bukan 2%, bukan 5%, tetapi 100%. Setelah setiap panggilan dinilai, pertanyaannya tidak lagi menjadi "panggilan mana yang kami ambil sampelnya?" dan menjadi "panggilan mana yang patut mendapat perhatian supervisor manusia?"
Ini adalah pertanyaan yang patut dipecahkan, dan ini adalah masalah peringkat, bukan masalah pengambilan sampel.
Kami menilai setiap panggilan pada tiga dimensi independen, lalu menggabungkannya menjadi satu peringkat yang dilihat supervisor di konsol mereka.
Ketiga dimensi tersebut tidak memiliki bobot yang sama dan bobotnya tidak sama antar pelanggan. Operator penagihan utang mempunyai bobot risiko kepatuhan yang paling berat. Tim dukungan SaaS perusahaan dengan sentuhan tinggi mempertimbangkan risiko hasil. Tim orientasi yang banyak melakukan pelatihan menimbang nilai pembinaan. Bobotnya dipaparkan dalam pengaturan supervisor dan kami menetapkan default yang masuk akal per industri.
Konsol ini sengaja terlihat berbeda dari UI "antrean sampel acak" yang lama. Alih-alih daftar panggilan terbaru yang diberi nomor halaman, ini adalah antrian peringkat tunggal, diurutkan berdasarkan skor risiko gabungan, yang diperbarui setiap dua menit. Antrean teratas adalah sekitar 20 panggilan yang memerlukan perhatian hari ini. Segala sesuatu di bawah ini adalah ekor yang panjang.
Setiap kartu panggilan berisi tiga sub-skor, ringkasan 90 detik tentang isi panggilan tersebut, dan cuplikan spesifik yang ditandai oleh model. Supervisor dapat mendengarkan cuplikan tanpa mendengarkan panggilan secara keseluruhan. Jika cuplikan adalah keseluruhan cerita — dan seringkali memang demikian — supervisor mengonfirmasi atau menolak tanda tersebut dalam 30 detik dan melanjutkan.
QA sampel acak biasanya memakan waktu rata-rata 8 menit per panggilan. Antrian yang diperingkat rata-rata 2 menit 40 detik. Biaya QA per panggilan telah turun. Cakupannya telah meningkat dari 2% menjadi 100%. Supervisor menghabiskan waktunya untuk panggilan yang benar-benar mengubah metrik.
Ketika kami menunjukkan antrian peringkat kepada pemimpin QA di pelanggan mitra desain, tiga keberatan muncul secara konsisten.
Benar secara abstrak; sebagian besar salah dalam praktiknya. Model itu merindukan hal-hal yang bersifat manusia spesialis akan ditangkap — auditor kepatuhan yang meninjau panggilan yang sama dapat menemukan seluk-beluk yang tidak ditunjukkan oleh model tersebut. Namun perbandingannya tidak bertentangan dengan spesialis. Hal ini bertentangan dengan supervisor yang mengambil sampel secara acak pada 2% panggilan. Model meninjau 100% dan menandai 5% yang sudah jelas. Spesialis meninjau 5%.
Cakupan jaringan bersih jauh lebih baik dibandingkan sistem lama.
Mungkin benar. Metrik apa pun yang mendapat perhatian akan dipermainkan. Pertahanannya ada dua: skornya multi-dimensi, jadi memainkan satu sumbu akan mendorong Anda naik ke sumbu lainnya; dan skor tersebut bukan merupakan tinjauan kinerja agen. Skor tersebut merupakan sinyal triase bagi supervisor. Tinjauan kinerja adalah apa yang disimpulkan oleh supervisor setelah mereka mendengarkan panggilan sebenarnya.
Kami menjual skor sebagai antrian, bukan papan skor.
Benar juga, dan kita harus jujur mengenai hal itu. Pengawas pusat kontak antrian peringkat menghabiskan lebih sedikit waktu untuk menilai panggilan berdasarkan rubrik 30 baris dan lebih banyak waktu untuk melatih, mengeskalasi, dan melakukan intervensi. Supervisor yang menyukai pekerjaan lama – yang bagiannya bersifat metodis dan berdasarkan kartu skor – belum tentu senang dengan pekerjaan baru.
Kami berbicara secara terbuka dengan pemimpin operasi mitra desain tentang hal ini sebelum peluncuran. Ini adalah perubahan alur kerja, bukan hanya perubahan alat.
Dari empat mitra desain yang menjalankan antrean pemeringkatan secara eksklusif selama 90 hari, tim supervisor meningkatkan panggilan 4,7x lebih banyak per minggu ke retensi atau kepatuhan dibandingkan dengan pengambilan sampel acak. Peningkatan tersebut bukanlah efek "pengawasan yang lebih cermat"; hampir seluruhnya merupakan pengambilan sampel acak yang secara struktural terlewatkan.
Salah satu pelanggan mengalami penyimpangan skrip penagihan utang — satu agen mulai menggunakan bahasa yang melewati batas FDCPA, pada sekitar 9% panggilan telepon mereka — pengambilan sampel acak tersebut belum muncul selama 11 minggu. Antrian yang diperingkat muncul dalam waktu 48 jam sejak penyimpangan dimulai, karena skor risiko kepatuhan pada panggilan spesifik tersebut melonjak dua standar deviasi di atas garis dasar agen.
Pelanggan lain menemukan bahwa agen yang ditandai oleh sistem sampel acak sebagai agen dengan kinerja terendah, pada kenyataannya, bukanlah agen dengan kinerja terendah — mereka hanya yang paling berisik. Antrian yang diperingkat, yang diberi peringkat berdasarkan risiko hasil, mengidentifikasi dua agen yang tenang namun secara konsisten berkinerja buruk yang panggilannya diambil sampelnya pada tingkat yang sama seperti orang lain dan masuk dalam tumpukan "rata-rata".
Tiga hal, dengan sengaja.
Kami tidak akan menilai agen secara otomatis berdasarkan keluaran antrean. Skor tersebut merupakan sinyal triase. Penilaian kinerja agen tetap melalui supervisor. Kami sengaja menjaga agar manusia tetap mengetahui informasi terbaru, bukan karena model tersebut tidak dapat melakukannya, namun karena kami telah menyaksikan cukup banyak sistem skor otomatis yang mengikis kepercayaan sehingga ingin menghindari pola tersebut sepenuhnya.
Kami tidak akan menampilkan skor real-time agen kepada agen selama panggilan berlangsung. Ada aliran pemikiran yang mengatakan bahwa agen harus melihat skor pelatihan mereka sendiri secara real time. Ada aliran pemikiran yang lebih kuat yang mengatakan bahwa melakukan hal itu akan merendahkan panggilan. Kami berpihak pada sekolah kedua.
Kami tidak akan mengekspor skor ke sistem manajemen kinerja secara default. Pelanggan yang ingin memasukkan skor ke alat HR terpisah dapat melakukannya dengan konfigurasi eksplisit, namun kami menjadikan default sebagai pilihan yang lebih aman. Jika Anda menginginkan nomor pada spreadsheet, Anda harus memintanya dengan sengaja.
Resepsionis AI, rute grosir, nomor virtual — dibangun dalam satu platform dengan harga transparan dan NOC 24/7.