Lấy mẫu ngẫu nhiên bỏ lỡ các cuộc gọi thực sự quan trọng. Chúng tôi đã xây dựng lại bảng điều khiển giám sát xung quanh điểm rủi ro — và ngừng coi QA là một trò chơi với những con số.
Trong hai thập kỷ, ngành công nghiệp trung tâm liên lạc đã thống nhất về một quy trình: người giám sát sẽ lấy mẫu ngẫu nhiên một tỷ lệ nhỏ các cuộc gọi được ghi âm - thường là 2 đến 5 cuộc gọi cho mỗi nhân viên mỗi tuần - cho điểm chúng theo một phiếu tự đánh giá gồm 30 hàng và tổng hợp điểm số vào báo cáo huấn luyện. Toàn bộ ngành công nghiệp được xây dựng xung quanh thực tiễn này. Các nhà cung cấp đã bán thẻ điểm. Kiểm toán viên xác nhận phiếu tự đánh giá. Các hội nghị đã có dấu vết cho nó.
Toán học không bao giờ hiệu quả. Một trung tâm liên lạc gồm 1.000 đại lý xử lý 200.000 cuộc gọi mỗi tuần, lấy mẫu 2% cho mỗi đại lý, mang lại cho bạn 40.000 cuộc gọi được ghi điểm - nghe có vẻ nhiều cho đến khi bạn nhận ra rằng mẫu ngẫu nhiên thống nhất trên các cuộc gọi có độ tin cậy 99%.
Việc lấy mẫu 40.000 cuộc hội thoại ngẫu nhiên để tìm ra 60 cuộc gọi trong đó nhân viên đã vi phạm việc tuân thủ là việc tìm kim đáy bể. Vào thời điểm đống cỏ khô đã được sắp xếp, đại lý đã chuyển đi, khách hàng đã rời bỏ và vi phạm ngày càng gia tăng.
Quan điểm của QA là không bao giờ ghi được cuộc gọi trung bình. Đó là tìm ra những cuộc gọi quan trọng — lỗi, số lần lưu, trường hợp nguy hiểm, cuộc trò chuyện trong đó người đại diện đã làm điều gì đó đặc biệt hoặc đáng báo động. Lấy mẫu ngẫu nhiên có cấu trúc kém trong việc tìm kiếm bất kỳ thứ nào trong số đó.
Hai điều đã thay đổi đủ để làm cho mô hình cũ rõ ràng đã bị phá vỡ. Đầu tiên, chất lượng phiên âm đã vượt qua ngưỡng hữu ích — trên hầu hết các ngôn ngữ chính, bản chép lời hiện đủ đáng tin cậy để ghi điểm bằng phần mềm chứ không chỉ bằng tai người.
Thứ hai, các mô hình ngôn ngữ lớn có khả năng phân loại có giám sát đủ tốt để một mô hình được đào tạo tùy chỉnh có thể thực hiện cuộc gọi trên 30 chiều trong 4 giây với chi phí chưa đến một xu.
Những điều này cùng nhau có nghĩa là lần đầu tiên trong lịch sử trung tâm liên lạc, mọi cuộc gọi đều có thể được tính điểm theo thang đánh giá - không phải 2%, không phải 5% mà là 100%. Sau khi mọi cuộc gọi được ghi điểm, câu hỏi sẽ không còn là "chúng ta lấy mẫu cuộc gọi nào?" và trở thành "cuộc gọi nào đáng được người giám sát con người chú ý?"
Đó là câu hỏi đáng được giải quyết và đó là vấn đề xếp hạng chứ không phải vấn đề lấy mẫu.
Chúng tôi chấm điểm mọi cuộc gọi theo ba chiều độc lập, sau đó kết hợp chúng thành một thứ hạng duy nhất mà người giám sát nhìn thấy trong bảng điều khiển của họ.
Ba yếu tố này không có trọng số như nhau và trọng lượng không giống nhau giữa các khách hàng. Nhà điều hành đòi nợ đánh giá rủi ro tuân thủ cao nhất. Nhóm hỗ trợ SaaS dành cho doanh nghiệp thường xuyên tiếp xúc sẽ cân nhắc rủi ro về kết quả. Một đội ngũ đào tạo tập trung chú trọng vào giá trị huấn luyện. Các trọng số được hiển thị trong cài đặt người giám sát và chúng tôi đặt các giá trị mặc định hợp lý cho mỗi ngành.
Bảng điều khiển trông có vẻ khác biệt so với giao diện người dùng "hàng đợi mẫu ngẫu nhiên" cũ. Thay vì một danh sách được phân trang gồm các cuộc gọi gần đây, nó là một hàng đợi được xếp hạng duy nhất, được sắp xếp theo điểm rủi ro tổng hợp, được làm mới hai phút một lần. Đứng đầu hàng đợi là khoảng 20 cuộc gọi cần được chú ý ngày hôm nay. Mọi thứ bên dưới đều là một cái đuôi dài.
Mỗi thẻ cuộc gọi mang ba điểm phụ, một bản tóm tắt dài 90 giây về nội dung của cuộc gọi và các đoạn thông tin cụ thể mà mô hình đã gắn cờ. Người giám sát có thể nghe đoạn trích mà không cần nghe toàn bộ cuộc gọi. Nếu đoạn trích là toàn bộ câu chuyện — và hầu hết là như vậy — người giám sát sẽ xác nhận hoặc từ chối gắn cờ sau 30 giây và tiếp tục.
QA mẫu ngẫu nhiên thường mất trung bình 8 phút cho mỗi cuộc gọi. Hàng chờ xếp hạng trung bình là 2 phút 40 giây. Chi phí QA cho mỗi cuộc gọi đã giảm. Mức độ bao phủ đã tăng từ 2% lên 100%. Người giám sát đang dành thời gian của họ cho các cuộc gọi thực sự làm thay đổi số liệu.
Khi chúng tôi đưa hàng đợi được xếp hạng cho lãnh đạo QA của khách hàng đối tác thiết kế, ba phản đối nhất quán được đưa ra.
Đúng về mặt trừu tượng; hầu hết là sai trong thực tế. Người mẫu nhớ những điều của con người chuyên gia sẽ nắm bắt được - kiểm toán viên tuân thủ xem xét cùng một cuộc gọi có thể tìm thấy những chi tiết mà mô hình không gắn cờ. Nhưng sự so sánh này không chống lại một chuyên gia. Điều này chống lại người giám sát lấy mẫu ngẫu nhiên 2% cuộc gọi. Mô hình đánh giá 100% và đánh dấu con số 5%. Các chuyên gia đánh giá 5%.
Vùng phủ sóng tốt hơn nhiều so với hệ thống cũ.
Có lẽ đúng. Bất kỳ số liệu nào thu hút được sự chú ý đều sẽ bị đánh lừa. Khả năng phòng thủ có hai mặt: điểm số đa chiều, vì vậy việc chơi game một trục sẽ đẩy bạn lên một trục khác; và điểm số không phải là đánh giá hiệu suất của đại lý. Điểm số là một tín hiệu phân loại cho người giám sát. Đánh giá hiệu suất là những gì người giám sát kết luận sau khi họ nghe cuộc gọi thực tế.
Chúng tôi bán điểm dưới dạng hàng đợi chứ không phải bảng điểm.
Cũng đúng, và chúng ta nên thành thật về điều đó. Người giám sát của một trung tâm liên lạc xếp hàng đợi dành ít thời gian hơn để ghi điểm các cuộc gọi theo thang đánh giá 30 hàng và có nhiều thời gian hơn để huấn luyện, báo cáo và can thiệp. Những người giám sát thích công việc cũ - phần có phương pháp, được điều khiển bằng thẻ điểm - không nhất thiết phải hào hứng với công việc mới.
Chúng tôi đã nói chuyện cởi mở với các nhà lãnh đạo hoạt động của đối tác thiết kế về vấn đề này trước khi ra mắt. Đó là sự thay đổi quy trình làm việc, không chỉ là thay đổi công cụ.
Trong số bốn đối tác thiết kế chạy hàng đợi xếp hạng độc quyền trong 90 ngày, nhóm giám sát đã tăng số cuộc gọi để duy trì hoặc tuân thủ lên gấp 4,7 lần mỗi tuần so với khi họ lấy mẫu ngẫu nhiên. Sự gia tăng này không phải là một hiệu ứng "xem xét kỹ lưỡng hơn"; gần như hoàn toàn là các cuộc gọi mà việc lấy mẫu ngẫu nhiên đã bị bỏ sót về mặt cấu trúc.
Một khách hàng đã gặp phải tình trạng trôi dạt trong kịch bản đòi nợ - một đại lý đã bắt đầu sử dụng ngôn ngữ vượt qua ranh giới FDCPA, trong khoảng 9% cuộc gọi của họ - việc lấy mẫu ngẫu nhiên đó đã không xuất hiện trong 11 tuần. Hàng đợi được xếp hạng xuất hiện trong vòng 48 giờ kể từ khi bắt đầu trôi dạt vì điểm rủi ro tuân thủ đối với các cuộc gọi cụ thể đó đã tăng hai độ lệch chuẩn so với mức cơ bản của nhân viên.
Một khách hàng khác nhận thấy rằng các đại lý mà hệ thống mẫu ngẫu nhiên đã gắn cờ là những người có hiệu suất thấp nhất thực tế không phải là những người có hiệu suất thấp nhất - họ chỉ là những người ồn ào nhất. Hàng đợi được xếp hạng, được xếp hạng dựa trên rủi ro kết quả, đã xác định hai nhân viên yên lặng nhưng hoạt động kém hiệu quả, có cuộc gọi được lấy mẫu ở tốc độ giống như những người khác và đã rơi vào nhóm "trung bình".
Ba điều, có mục đích.
Chúng tôi sẽ không tự động chấm điểm các tác nhân trên đầu ra của hàng đợi. Điểm số là một tín hiệu phân loại. Xếp hạng hiệu suất của đại lý vẫn phải thông qua người giám sát. Chúng tôi đang cố tình giữ con người trong vòng lặp, không phải vì mô hình không thể làm được điều đó, mà bởi vì chúng tôi đã chứng kiến đủ các hệ thống được tự động tính điểm làm xói mòn lòng tin nên muốn tránh hoàn toàn khuôn mẫu đó.
Chúng tôi sẽ không hiển thị điểm thời gian thực của tổng đài viên cho đại lý trong cuộc gọi. Có một trường phái cho rằng các đại lý nên xem điểm huấn luyện của chính họ trong thời gian thực. Có một trường phái tư tưởng mạnh mẽ hơn cho rằng làm như vậy sẽ làm giảm chất lượng cuộc gọi. Chúng tôi đứng về phía trường thứ hai.
Theo mặc định, chúng tôi sẽ không xuất điểm sang hệ thống quản lý hiệu suất. Những khách hàng muốn kết hợp điểm số vào một công cụ nhân sự riêng biệt có thể thực hiện việc này bằng cấu hình rõ ràng, nhưng chúng tôi đặt cấu hình mặc định là lựa chọn an toàn hơn. Nếu bạn muốn có một con số trên bảng tính, bạn phải cố tình yêu cầu nó.
Nhân viên lễ tân AI, tuyến bán buôn, số ảo - được xây dựng trên một nền tảng với giá cả minh bạch và NOC 24/7.