Trường hợp xếp hạng cuộc gọi, không lấy mẫu

Giới thiệu

Trong hai thập kỷ, ngành trung tâm liên lạc đã thống nhất về một quy trình: người giám sát sẽ lấy mẫu ngẫu nhiên một tỷ lệ nhỏ các cuộc gọi được ghi âm - thường là 2 đến 5 cuộc gọi cho mỗi nhân viên mỗi tuần - cho điểm chúng theo một phiếu tự đánh giá gồm 30 hàng và tổng hợp điểm số vào báo cáo huấn luyện. Toàn bộ ngành công nghiệp được xây dựng xung quanh thực tiễn này. Các nhà cung cấp đã bán thẻ điểm. Kiểm toán viên xác nhận phiếu tự đánh giá. Các hội nghị đã có dấu vết cho nó.

Toán học không bao giờ hiệu quả. Một trung tâm liên lạc gồm 1.000 đại lý xử lý 200.000 cuộc gọi mỗi tuần, lấy mẫu 2% cho mỗi đại lý, mang lại cho bạn 40.000 cuộc gọi được ghi điểm - nghe có vẻ nhiều cho đến khi bạn nhận ra rằng mẫu ngẫu nhiên thống nhất trên các cuộc gọi có độ tin cậy 99%.

Việc lấy mẫu 40.000 cuộc hội thoại ngẫu nhiên để tìm ra 60 cuộc gọi trong đó nhân viên đã vi phạm việc tuân thủ là việc tìm kim đáy bể. Vào thời điểm đống cỏ khô đã được sắp xếp, đại lý đã chuyển đi, khách hàng đã rời bỏ và vi phạm ngày càng gia tăng.

Quan điểm của QA là không bao giờ ghi được cuộc gọi trung bình. Đó là tìm ra những cuộc gọi quan trọng — lỗi, số lần lưu, trường hợp nguy hiểm, cuộc trò chuyện trong đó nhân viên đã làm điều gì đó đặc biệt hoặc đáng báo động. Lấy mẫu ngẫu nhiên có cấu trúc kém trong việc tìm kiếm bất kỳ thứ nào trong số đó.

Điều gì đã thay đổi trong 18 tháng qua

Hai điều đã thay đổi đủ để làm cho mô hình cũ rõ ràng đã bị phá vỡ. Đầu tiên, chất lượng phiên âm đã vượt qua ngưỡng hữu ích — trên hầu hết các ngôn ngữ chính, phiên âm hiện đủ đáng tin cậy để ghi điểm bằng phần mềm chứ không chỉ bằng tai người.

Thứ hai, các mô hình ngôn ngữ lớn có khả năng phân loại có giám sát đủ tốt để một mô hình được đào tạo tùy chỉnh có thể thực hiện cuộc gọi trên 30 chiều trong 4 giây với chi phí chưa đến một xu.

Những điều này cùng nhau có nghĩa là lần đầu tiên trong lịch sử trung tâm liên lạc, mọi cuộc gọi đều có thể được tính điểm theo thang đánh giá - không phải 2%, không phải 5% mà là 100%. Sau khi mọi cuộc gọi được ghi điểm, câu hỏi sẽ không còn là "chúng ta lấy mẫu cuộc gọi nào?" và trở thành "cuộc gọi nào đáng được người giám sát con người chú ý?"

Đó là câu hỏi đáng được giải quyết và đó là vấn đề xếp hạng chứ không phải vấn đề lấy mẫu.

Điều gì ảnh hưởng đến điểm rủi ro

Chúng tôi chấm điểm mọi cuộc gọi theo ba chiều độc lập, sau đó kết hợp chúng thành một thứ hạng duy nhất mà người giám sát nhìn thấy trong bảng điều khiển của họ.

• Rủi ro tuân thủ — cuộc gọi có chứa ngôn ngữ gây ra sự tiếp xúc với quy định không? Mini-Miranda, sự đồng ý của TCPA, ranh giới FDCPA thu nợ, tiết lộ thông tin sức khỏe được bảo vệ. Thứ nguyên này mang tính chất nhị phân - hầu hết các cuộc gọi đều có điểm gần bằng 0, phần đuôi nhỏ có điểm cao.
• Rủi ro kết quả — khách hàng này có khả năng rời bỏ, phàn nàn hoặc leo thang do cuộc gọi này không? Kết hợp quỹ đạo tình cảm, tín hiệu vấn đề chưa được giải quyết, ngôn ngữ khiếu nại rõ ràng và giá trị cấp tài khoản của khách hàng.
• Giá trị huấn luyện — liệu người giám sát đang xem cuộc gọi này có học được điều gì mà họ có thể dạy không? Các cuộc gọi huấn luyện cấp cao là những pha cứu thua bất thường, những pha giao bóng rõ ràng và những pha xuống thang có kiểm soát. Chúng không phải là thất bại; họ là những tấm gương.

Ba yếu tố này không có trọng số như nhau và trọng lượng không giống nhau giữa các khách hàng. Nhà điều hành đòi nợ đánh giá rủi ro tuân thủ cao nhất. Nhóm hỗ trợ SaaS dành cho doanh nghiệp thường xuyên tiếp xúc sẽ cân nhắc rủi ro về kết quả. Một đội ngũ đào tạo tập trung chú trọng vào giá trị huấn luyện. Các trọng số được hiển thị trong cài đặt người giám sát và chúng tôi đặt các giá trị mặc định hợp lý cho mỗi ngành.

Bảng điều khiển giám sát: hàng đợi được xếp hạng

Bảng điều khiển trông có vẻ khác biệt so với giao diện người dùng "hàng đợi mẫu ngẫu nhiên" cũ. Thay vì một danh sách được phân trang gồm các cuộc gọi gần đây, nó là một hàng đợi được xếp hạng duy nhất, được sắp xếp theo điểm rủi ro tổng hợp, được làm mới hai phút một lần. Đứng đầu hàng đợi là khoảng 20 cuộc gọi cần được chú ý ngày hôm nay. Mọi thứ bên dưới đều là một cái đuôi dài.

Mỗi thẻ cuộc gọi mang ba điểm phụ, một bản tóm tắt dài 90 giây về nội dung của cuộc gọi và các đoạn thông tin cụ thể mà mô hình đã gắn cờ. Người giám sát có thể nghe đoạn trích mà không cần nghe toàn bộ cuộc gọi. Nếu đoạn trích là toàn bộ câu chuyện — và hầu hết là như vậy — người giám sát sẽ xác nhận hoặc từ chối gắn cờ sau 30 giây và tiếp tục.

QA mẫu ngẫu nhiên thường mất trung bình 8 phút cho mỗi cuộc gọi. Hàng đợi xếp hạng trung bình là 2 phút 40 giây. Chi phí QA cho mỗi cuộc gọi đã giảm. Mức độ bao phủ đã tăng từ 2% lên 100%. Người giám sát đang dành thời gian của họ cho các cuộc gọi thực sự làm thay đổi số liệu.

Những phản đối mà chúng tôi đã nghe

Khi chúng tôi đưa hàng đợi được xếp hạng cho lãnh đạo QA của khách hàng đối tác thiết kế, ba phản đối nhất quán được đưa ra.

Phản đối 1: "Người mẫu sẽ bỏ lỡ những thứ mà con người sẽ bắt được."

Đúng về mặt trừu tượng; hầu hết là sai trong thực tế. Người mẫu nhớ những điều của con người chuyên gia sẽ nắm bắt được - kiểm toán viên tuân thủ xem xét cùng một cuộc gọi có thể tìm thấy những chi tiết mà mô hình không gắn cờ. Nhưng sự so sánh này không chống lại một chuyên gia. Điều này chống lại người giám sát lấy mẫu ngẫu nhiên 2% cuộc gọi. Mô hình đánh giá 100% và đánh dấu con số 5%. Các chuyên gia đánh giá 5%.

Vùng phủ sóng tốt hơn nhiều so với hệ thống cũ.

Phản đối 2: “Đại lý sẽ tính điểm.”

Có lẽ đúng. Bất kỳ số liệu nào thu hút được sự chú ý đều sẽ bị đánh lừa. Khả năng phòng thủ có hai mặt: điểm số đa chiều, vì vậy việc chơi game một trục sẽ đẩy bạn lên một trục khác; và điểm số không phải là đánh giá hiệu suất của đại lý. Điểm số là một tín hiệu phân loại cho người giám sát. Đánh giá hiệu suất là những gì người giám sát kết luận sau khi họ nghe cuộc gọi thực tế.

Chúng tôi bán điểm dưới dạng hàng đợi chứ không phải bảng điểm.

Phản đối 3: “Nó làm thay đổi công việc của người giám sát.”

Cũng đúng, và chúng ta nên thành thật về điều đó. Người giám sát của một trung tâm liên lạc xếp hàng đợi dành ít thời gian hơn để ghi điểm các cuộc gọi theo thang đánh giá 30 hàng và có nhiều thời gian hơn để huấn luyện, báo cáo và can thiệp. Những người giám sát thích công việc cũ - phần có phương pháp, được điều khiển bằng thẻ điểm - không nhất thiết phải hào hứng với công việc mới.

Chúng tôi đã nói chuyện cởi mở với các nhà lãnh đạo hoạt động của đối tác thiết kế về vấn đề này trước khi ra mắt. Đó là sự thay đổi quy trình làm việc, không chỉ là thay đổi công cụ.

Hệ thống mới tìm thấy gì trong 90 ngày đầu tiên

Trong số bốn đối tác thiết kế chạy hàng đợi xếp hạng độc quyền trong 90 ngày, nhóm giám sát đã tăng số cuộc gọi để duy trì hoặc tuân thủ lên gấp 4,7 lần mỗi tuần so với khi họ lấy mẫu ngẫu nhiên. Sự gia tăng này không phải là một hiệu ứng "xem xét kỹ lưỡng hơn"; gần như hoàn toàn là các cuộc gọi mà việc lấy mẫu ngẫu nhiên đã bị bỏ sót về mặt cấu trúc.

Một khách hàng đã gặp phải tình trạng trôi dạt trong kịch bản đòi nợ - một đại lý đã bắt đầu sử dụng ngôn ngữ vượt qua ranh giới FDCPA, trong khoảng 9% cuộc gọi của họ - việc lấy mẫu ngẫu nhiên đó đã không xuất hiện trong 11 tuần. Hàng đợi được xếp hạng xuất hiện trong vòng 48 giờ kể từ khi bắt đầu trôi dạt vì điểm rủi ro tuân thủ đối với các cuộc gọi cụ thể đó đã tăng hai độ lệch chuẩn so với đường cơ sở của nhân viên.

Một khách hàng khác nhận thấy rằng các đại lý mà hệ thống mẫu ngẫu nhiên đã gắn cờ là những người có hiệu suất thấp nhất thực tế không phải là những người có hiệu suất thấp nhất - họ chỉ là những người ồn ào nhất. Hàng đợi được xếp hạng, được xếp hạng dựa trên rủi ro kết quả, đã xác định hai nhân viên yên lặng nhưng hoạt động kém hiệu quả liên tục có các cuộc gọi được lấy mẫu ở tốc độ giống như những người khác và đã rơi vào nhóm "trung bình".

Những gì chúng tôi cố tình sẽ không làm với điểm số

Ba điều, có mục đích.

Chúng tôi sẽ không tự động chấm điểm các tác nhân trên đầu ra của hàng đợi. Điểm số là một tín hiệu phân loại. Xếp hạng hiệu suất của đại lý vẫn phải thông qua người giám sát. Chúng tôi đang cố tình giữ con người trong vòng lặp, không phải vì mô hình không thể làm được điều đó mà bởi vì chúng tôi đã chứng kiến ​​đủ các hệ thống được tự động tính điểm làm xói mòn lòng tin nên muốn tránh hoàn toàn khuôn mẫu đó.

Chúng tôi sẽ không hiển thị điểm thời gian thực của tổng đài viên cho đại lý trong cuộc gọi. Có một trường phái cho rằng các đại lý nên xem điểm huấn luyện của chính họ trong thời gian thực. Có một trường phái tư tưởng mạnh mẽ hơn cho rằng làm như vậy sẽ làm giảm chất lượng cuộc gọi. Chúng tôi đứng về phía trường thứ hai.

Theo mặc định, chúng tôi sẽ không xuất điểm sang hệ thống quản lý hiệu suất. Những khách hàng muốn kết hợp điểm số vào một công cụ nhân sự riêng biệt có thể thực hiện việc này bằng cấu hình rõ ràng, nhưng chúng tôi đặt cấu hình mặc định là lựa chọn an toàn hơn. Nếu bạn muốn có một con số trên bảng tính, bạn phải cố tình yêu cầu nó.