กรณีของการจัดอันดับการโทร ไม่ใช่การสุ่มตัวอย่าง

การแนะนำ

เป็นเวลากว่าสองทศวรรษที่อุตสาหกรรมศูนย์ติดต่อเห็นพ้องกับกระบวนการหนึ่ง: หัวหน้างานจะสุ่มตัวอย่างการโทรที่บันทึกไว้ในเปอร์เซ็นต์เล็กน้อย โดยทั่วไปคือ 2 ถึง 5 ต่อเจ้าหน้าที่ต่อสัปดาห์ โดยให้คะแนนเทียบกับรูบริก 30 แถว และสะสมคะแนนลงในรายงานการฝึกสอน อุตสาหกรรมทั้งหมดถูกสร้างขึ้นจากแนวปฏิบัตินี้ แม่ค้าขายสกอร์การ์ด. ผู้ตรวจสอบตรวจสอบเกณฑ์การให้คะแนน การประชุมมีแนวทางสำหรับเรื่องนี้

คณิตศาสตร์ไม่เคยทำงาน ศูนย์ติดต่อของตัวแทน 1,000 รายที่จัดการการโทร 200,000 ครั้งต่อสัปดาห์ โดยสุ่มตัวอย่าง 2% ต่อตัวแทน ช่วยให้คุณได้รับการโทรที่ให้คะแนน 40,000 ครั้ง ซึ่งฟังดูเหมือนมากจนกระทั่งคุณพบว่ากลุ่มตัวอย่างนั้นสุ่มตัวอย่างสม่ำเสมอสำหรับการโทรที่ไม่เป็นอันตราย 99%

การสุ่มตัวอย่างการสนทนา 40,000 รายการเพื่อค้นหาการโทร 60 ครั้งซึ่งตัวแทนกระทำการละเมิดการปฏิบัติตามข้อกำหนดคือคำจำกัดความของเข็มในกองหญ้า เมื่อถึงเวลาคัดแยกกองหญ้าแล้ว เจ้าหน้าที่ก็เดินหน้าต่อไป ลูกค้าก็ปั่นป่วน และการละเมิดก็ทวีความรุนแรงขึ้น

ประเด็นของ QA คือไม่เคยให้คะแนนการโทรโดยเฉลี่ย มันคือการค้นหาการโทรที่มีความสำคัญ ไม่ว่าจะเป็นความล้มเหลว การบันทึก กรณี Edge การสนทนาที่เจ้าหน้าที่ทำสิ่งพิเศษหรือน่าตกใจ การสุ่มตัวอย่างมีโครงสร้างไม่ดีในการค้นหาสิ่งเหล่านั้น

สิ่งที่เปลี่ยนแปลงไปในช่วง 18 เดือนที่ผ่านมา

สองสิ่งที่เปลี่ยนแปลงมากพอที่จะทำให้รุ่นเก่าพังอย่างเห็นได้ชัด ประการแรก คุณภาพการถอดเสียงเกินเกณฑ์ที่มีประโยชน์ — ในภาษาหลักๆ ส่วนใหญ่แล้ว การถอดเสียงมีความน่าเชื่อถือเพียงพอที่จะให้คะแนนด้วยซอฟต์แวร์ ไม่ใช่แค่กับหูของมนุษย์เท่านั้น

ประการที่สอง โมเดลภาษาขนาดใหญ่มีดีเพียงพอในการจัดหมวดหมู่ภายใต้การดูแล ซึ่งโมเดลที่ได้รับการฝึกแบบกำหนดเองสามารถให้คะแนนการโทรใน 30 มิติใน 4 วินาทีโดยมีค่าใช้จ่ายน้อยกว่าเพนนี

ทั้งหมดนี้หมายความว่าเป็นครั้งแรกในประวัติศาสตร์ของศูนย์ติดต่อ ที่ทุกการโทรสามารถให้คะแนนเทียบกับเกณฑ์ ไม่ใช่ 2% ไม่ใช่ 5% แต่เป็น 100% เมื่อมีการบันทึกการโทรทุกครั้ง คำถามจะหยุดอยู่ที่ว่า "เราจะสุ่มตัวอย่างการโทรใดบ้าง" และกลายเป็น "สายใดที่สมควรได้รับความสนใจจากหัวหน้างานที่เป็นมนุษย์"

นั่นคือคำถามที่ควรค่าแก่การแก้ไข และเป็นปัญหาในการจัดอันดับ ไม่ใช่ปัญหาในการสุ่มตัวอย่าง

สิ่งที่เข้าไปในคะแนนความเสี่ยง

เราให้คะแนนทุกการโทรในมิติอิสระสามมิติ จากนั้นรวมเป็นระดับเดียวที่หัวหน้างานเห็นในคอนโซล

• ความเสี่ยงด้านการปฏิบัติตามข้อกำหนด — การโทรมีภาษาที่กระตุ้นให้เกิดการเปิดเผยตามกฎระเบียบหรือไม่? Mini-Miranda, ความยินยอมของ TCPA, ขอบเขต FDCPA การเก็บหนี้, การเปิดเผยข้อมูลด้านสุขภาพที่ได้รับการคุ้มครอง มิติข้อมูลนี้เป็นแบบไบนารี่ — การโทรส่วนใหญ่มีคะแนนใกล้ศูนย์ ส่วนหางขนาดเล็กจะมีคะแนนสูง
• ความเสี่ยงต่อผลลัพธ์ — ลูกค้ารายนี้มีแนวโน้มที่จะเลิกใช้งาน บ่น หรือบานปลายอันเป็นผลมาจากการโทรนี้หรือไม่ รวมวิถีความรู้สึก สัญญาณปัญหาที่ยังไม่ได้รับการแก้ไข ภาษาการร้องเรียนที่ชัดเจน และมูลค่าระดับบัญชีของลูกค้า
• คุณค่าการฝึกสอน — หัวหน้างานที่เฝ้าดูการโทรนี้จะเรียนรู้สิ่งที่พวกเขาสามารถสอนได้หรือไม่ การโทรฝึกสอนระดับสูงคือการเซฟที่ผิดปกติ แฮนด์ออฟที่สะอาด และการควบคุมการลดระดับ พวกเขาไม่ใช่ความล้มเหลว พวกเขาเป็นแบบอย่าง

มิติข้อมูลสามมิติไม่ได้มีน้ำหนักเท่ากัน และน้ำหนักของลูกค้าแต่ละรายก็ไม่เหมือนกัน ผู้ดำเนินการทวงถามหนี้ให้ความสำคัญกับความเสี่ยงในการปฏิบัติตามข้อกำหนดมากที่สุด SaaS ระดับองค์กรที่มีความสำคัญสูงสนับสนุนทีมในการชั่งน้ำหนักความเสี่ยงของผลลัพธ์ การเตรียมความพร้อมให้กับทีมที่เน้นการฝึกฝนอย่างหนักจะถ่วงน้ำหนักคุณค่าของการฝึกสอน น้ำหนักจะถูกเปิดเผยในการตั้งค่าหัวหน้างาน และเราตั้งค่าเริ่มต้นที่สมเหตุสมผลตามอุตสาหกรรม

คอนโซลหัวหน้างาน: คิวที่ได้รับการจัดอันดับ

คอนโซลดูแตกต่างอย่างจงใจจาก UI "คิวตัวอย่างแบบสุ่ม" แบบเก่า แทนที่จะเป็นรายการแบ่งหน้าของการโทรล่าสุด จะเป็นคิวอันดับเดียว จัดเรียงตามคะแนนความเสี่ยงรวม และรีเฟรชทุกสองนาที ด้านบนของคิวคือสายประมาณ 20 สายที่ต้องได้รับการดูแลในวันนี้ ทุกสิ่งด้านล่างเป็นหางยาว

บัตรโทรศัพท์แต่ละใบมีคะแนนย่อยสามคะแนน สรุป 90 วินาทีเกี่ยวกับการโทรดังกล่าว และตัวอย่างข้อมูลเฉพาะที่โมเดลทำเครื่องหมายไว้ หัวหน้างานสามารถฟังตัวอย่างโดยไม่ต้องฟังการโทรทั้งหมด หากตัวอย่างคือเรื่องราวทั้งหมด — และโดยส่วนใหญ่แล้วเป็นเช่นนั้น — หัวหน้างานจะยืนยันหรือปฏิเสธการตั้งค่าสถานะภายใน 30 วินาทีและดำเนินการต่อไป

QA ตัวอย่างแบบสุ่มใช้เวลาโดยเฉลี่ย 8 นาทีต่อการโทรหนึ่งครั้ง คิวจัดอันดับเฉลี่ย 2 นาที 40 วินาที ต้นทุนของ QA ต่อการโทรลดลง ความคุ้มครองเพิ่มขึ้นจาก 2% เป็น 100% หัวหน้างานใช้เวลากับการโทรที่ย้ายหน่วยวัดจริงๆ

คำคัดค้านที่เราได้ยิน

เมื่อเราแสดงคิวที่ได้รับการจัดอันดับแก่ผู้นำ QA ของลูกค้าที่เป็นพันธมิตรด้านการออกแบบ มีการคัดค้านสามประการเกิดขึ้นอย่างต่อเนื่อง

ข้อโต้แย้งที่ 1: "แบบจำลองจะพลาดสิ่งที่มนุษย์จับได้"

จริงในนามธรรม ส่วนใหญ่เป็นเท็จในทางปฏิบัติ แบบจำลองพลาดสิ่งที่มนุษย์ ผู้เชี่ยวชาญ จะจับได้ - ผู้ตรวจสอบการปฏิบัติตามกฎระเบียบที่ตรวจสอบการโทรเดียวกันสามารถค้นหารายละเอียดปลีกย่อยที่โมเดลไม่ได้ตั้งค่าสถานะ แต่การเปรียบเทียบไม่ได้เทียบกับผู้เชี่ยวชาญ เป็นการขัดกับหัวหน้างานที่สุ่มตัวอย่างการโทร 2% โมเดลตรวจสอบ 100% และทำเครื่องหมาย 5% ที่ชัดเจน ผู้เชี่ยวชาญจะตรวจสอบ 5%

ความครอบคลุมของเน็ตดีกว่าระบบเก่ามาก

ข้อโต้แย้งที่ 2: "ตัวแทนจะเล่นเกมคะแนน"

อาจเป็นเรื่องจริง เมตริกใดก็ตามที่ได้รับความสนใจจะถูกเล่นเกม การป้องกันเป็นสองเท่า: คะแนนมีหลายมิติ ดังนั้นการเล่นเกมแกนหนึ่งจะดันคุณขึ้นไปอีกแกนหนึ่ง และคะแนนไม่ใช่การทบทวนผลงานของตัวแทน คะแนนคือสัญญาณ Triage สำหรับผู้บังคับบัญชา การตรวจสอบประสิทธิภาพคือสิ่งที่หัวหน้างานสรุปหลังจากฟังการโทรจริง

เราขายคะแนนเป็นคิวไม่ใช่กระดานคะแนน

ข้อโต้แย้งที่ 3: "มันเปลี่ยนงานของผู้บังคับบัญชา"

เป็นความจริงเช่นกัน และเราควรซื่อสัตย์เกี่ยวกับเรื่องนี้ หัวหน้างานของศูนย์ติดต่อแบบจัดอันดับใช้เวลาน้อยลงในการให้คะแนนการโทรเทียบกับรูบริก 30 แถว และมีเวลาฝึกสอน ยกระดับ และแทรกแซงมากขึ้น หัวหน้างานที่ชื่นชอบงานเก่าซึ่งมีระเบียบวิธีและยึดถือหลักคะแนน ไม่จำเป็นต้องตื่นเต้นกับงานใหม่เสมอไป

เราได้พูดคุยอย่างเปิดเผยกับผู้นำฝ่ายปฏิบัติการของพาร์ทเนอร์การออกแบบเกี่ยวกับเรื่องนี้ก่อนเปิดตัว เป็นการเปลี่ยนแปลงขั้นตอนการทำงาน ไม่ใช่แค่การเปลี่ยนเครื่องมือ

สิ่งที่ระบบใหม่พบใน 90 วันแรก

ในบรรดาพันธมิตรด้านการออกแบบทั้งสี่รายที่ดูแลคิวที่ได้รับการจัดอันดับโดยเฉพาะเป็นเวลา 90 วัน ทีมหัวหน้างานได้เพิ่มการโทรมากขึ้น 4.7 เท่าต่อสัปดาห์เพื่อรักษาหรือปฏิบัติตามข้อกำหนดมากกว่าที่พวกเขาสุ่มตัวอย่าง การเพิ่มขึ้นไม่ใช่ผล "การตรวจสอบอย่างละเอียดมากขึ้น"; เกือบทั้งหมดเรียกว่าการสุ่มตัวอย่างมีโครงสร้างพลาดไป

ลูกค้ารายหนึ่งพบว่าสคริปต์ทวงถามหนี้ลอยไป — ตัวแทนรายหนึ่งเริ่มใช้ภาษาที่ข้ามขอบเขต FDCPA หรือประมาณ 9% ของการโทร — การสุ่มตัวอย่างนั้นไม่ปรากฏเป็นเวลา 11 สัปดาห์ คิวที่ได้รับการจัดอันดับปรากฏขึ้นภายใน 48 ชั่วโมงนับจากการเริ่มดริฟท์ เนื่องจากคะแนนความเสี่ยงในการปฏิบัติตามข้อกำหนดของการโทรเฉพาะเหล่านั้นได้เพิ่มขึ้น 2 ส่วนเบี่ยงเบนมาตรฐานเหนือค่าพื้นฐานของตัวแทน

ลูกค้าอีกรายหนึ่งพบว่าเจ้าหน้าที่ที่ระบบสุ่มตัวอย่างทำเครื่องหมายว่ามีประสิทธิภาพต่ำที่สุด จริงๆ แล้วไม่ใช่มีประสิทธิภาพต่ำที่สุด — พวกเขาแค่ดังที่สุดเท่านั้น คิวที่ได้รับการจัดอันดับซึ่งจัดอันดับตามความเสี่ยงของผลลัพธ์ ระบุตัวแทน 2 รายที่เงียบแต่มีประสิทธิภาพต่ำกว่าอย่างสม่ำเสมอ ซึ่งมีการสุ่มตัวอย่างการโทรในอัตราเดียวกันกับคนอื่นๆ และเข้าสู่กอง "โดยเฉลี่ย"

สิ่งที่เราจงใจจะไม่ทำคะแนน

สามสิ่งโดยตั้งใจ

เราจะไม่ให้คะแนนเอเจนต์อัตโนมัติในเอาต์พุตของคิว คะแนนคือสัญญาณ Triage การให้คะแนนประสิทธิภาพของตัวแทนยังคงต้องผ่านการประเมินจากหัวหน้างาน เราจงใจทำให้มนุษย์อยู่ในความเคลื่อนไหว ไม่ใช่เพราะโมเดลไม่สามารถทำได้ แต่เป็นเพราะเราได้เฝ้าดูระบบที่ให้คะแนนอัตโนมัติมาเพียงพอแล้วได้กัดเซาะความไว้วางใจที่ต้องการหลีกเลี่ยงรูปแบบทั้งหมด

เราจะไม่แสดงคะแนนแบบเรียลไทม์ของตัวแทนให้ตัวแทนทราบในระหว่างการโทร มีโรงเรียนแห่งความคิดที่บอกว่าตัวแทนควรดูคะแนนการฝึกสอนของตนเองแบบเรียลไทม์ มีโรงเรียนแห่งความคิดที่แข็งแกร่งกว่าที่บอกว่าการทำเช่นนี้จะทำให้การโทรเสื่อมโทรม เราเข้าข้างโรงเรียนที่สอง

เราจะไม่ส่งออกคะแนนไปยังระบบการจัดการประสิทธิภาพตามค่าเริ่มต้น ลูกค้าที่ต้องการรวมคะแนนเข้ากับเครื่องมือ HR แยกต่างหากสามารถทำได้โดยมีการกำหนดค่าที่ชัดเจน แต่เราให้ค่าเริ่มต้นเป็นตัวเลือกที่ปลอดภัยกว่า หากคุณต้องการตัวเลขในสเปรดชีต คุณก็ควรจะถามโดยตั้งใจ