قمنا بقياس دقة موظف الاستقبال بالذكاء الاصطناعي عبر 8400 مكالمة حقيقية

مقدمة

معظم أرقام "دقة الذكاء الاصطناعي" التي تقرأها في النسخة التسويقية لا معنى لها بهدوء. إنهم يقيسون نموذجًا على مجموعة بيانات نظيفة، ويسجلون مجموعة البيانات مقابل نفسها، وينتجون رقمًا لا علاقة له تقريبًا بكيفية أداء النظام بعد ظهر يوم الثلاثاء عندما يتصل العميل من مستودع صاخب ويطرح ثلاثة أسئلة في وقت واحد.

أردنا رقمًا يعني شيئًا ما. لذا، لمدة ثلاثة أشهر بين يناير ومارس 2026، تم نسخ كل مكالمة تعامل معها موظف الاستقبال الذي يعمل بالذكاء الاصطناعي لدينا عبر أسطول الإنتاج - 8,427 مكالمة في المجموع - وتصنيفها بواسطة الذكاء الاصطناعي في الوقت الفعلي، ثم إعادة تصنيفها بشكل مستقل بواسطة مراجع بشري لم يرى حكم الذكاء الاصطناعي مطلقًا.

قمنا بتتبع اللغة واللهجة (حيثما أمكن تحديدها) ونوع المكالمة والوقت من اليوم والمدة والمسار المحدد الذي اتخذته المحادثة.

لم يكن الهدف نشر رقم ممتع. كان الهدف هو العثور على المكالمات التي اعتقد الذكاء الاصطناعي أنه نجح فيها وكان مخطئًا، والمكالمات التي حل فيها الذكاء الاصطناعي مشكلة العميل حقًا ولكن مقاييسنا الداخلية حددتها على أنها خطأ. كلا الفئتين كانتا أكبر مما توقعنا.

كيف قمنا بأخذ عينات من المكالمات وتصنيفها

كانت هناك ثلاث قواعد. أولاً، لا يوجد انتقاء: كل مكالمة خلال هذه الفترة كانت مؤهلة، بما في ذلك المكالمات الـ 47 التي تعطلت في منتصف المحادثة والمكالمة الـ 312 التي تم تحويلها إلى إنسان خلال أول 15 ثانية. ثانيًا، كان المراجعون البشريون غافلين عن التقييم الذاتي للذكاء الاصطناعي، حيث قاموا بتصنيف النص وفقًا لنية العميل المعلنة، وليس ضد ما ادعى الذكاء الاصطناعي أنه فعله.

ثالثًا، تم نشر نموذج التقييم قبل النظر في أي بيانات، لمنعنا من إعادة تعريف "النجاح" بهدوء بمجرد ظهور الأرقام.

تم تسجيل كل مكالمة على ثلاثة أبعاد مستقلة:

• التقاط النية - هل حدد الذكاء الاصطناعي بشكل صحيح ما كان المتصل يحاول فعله بالفعل؟ (ثنائي: نعم/لا.)
• إكمال المهمة - هل تم حل حاجة المتصل المعلنة بالفعل في هذه المكالمة، أم أنها تتطلب متابعة بشرية لم يطلبها المتصل؟
• نظافة المحادثة - هل كان النص خاليًا من الهلوسة أو الوعود الكاذبة أو التناقضات؟ حصل على تقدير من 1 إلى 5 من قبل المراجع.

تم احتساب المكالمة على أنها "فوز" فقط إذا قامت بمسح الثلاثة: النية الصحيحة، المهمة الكاملة، درجة النظافة 4 أو 5. البوابة الثالثة هي البوابة التي أزالت بهدوء المكالمات التي كنا نسميها نجاحات.

أرقام العناوين

عبر مجموعة البيانات الكاملة المكونة من 8,427 مكالمة، تمكن الذكاء الاصطناعي من فتح جميع البوابات الثلاث 91.4% من المكالمات. كان هذا الرقم أعلى مما توقعناه داخليًا، إذ كان معظمنا يراهن في نطاق 85-88%.

لم تكن الفجوة بين توقعاتنا والنتيجة نموذجًا يتحسن عما توقعنا؛ بل إن حدسنا يتشكل من خلال المكالمات التي نتذكرها، والتي كانت على نحو غير متناسب المكالمات السيئة.

تم تقسيم التباين حسب نوع المكالمة، وكان التباين كبيرًا:

• حجز موعد — 96.1% (أبسط طريق، نية تم التدرب عليها جيدًا)
• معلومات عامة — 93.8% (ساعات العمل، الموقع، الخدمات)
• استفسارات التسعير — 89.2% (بعض مسارات التسعير تتطلب توضيحًا)
• الإلغاء / إعادة الجدولة — 87.6%
• الشكاوى والتصعيد — 78.3%
• مكالمات متعددة القضايا — 71.9% (هدفان مستقلان أو أكثر في نفس المكالمة)

أرقام الشكاوى والقضايا المتعددة هي التي ركزنا عليها. إن نسبة 96% من حجز المواعيد هي ما نشحنه للفوز بالصفقات؛ رقم 72% من المكالمات متعددة القضايا هو ما نشحنه للاحتفاظ بها.

اللغة واللهجة: حيث عاشت المفاجآت

نحن نعمل بـ 32 لغة وننشر رقم دقة واحدًا لكل لغة. كانت الفجوة الإجمالية بين أفضل اللغات لدينا (الإنجليزية والولايات المتحدة) واللغة الأسوأ دعمًا لدينا (الفيتنامية) 4.1 نقطة مئوية - وهي أضيق مما توقعنا، وأضيق مما رأيناه في المعايير الأكاديمية المنشورة.

لكن مجموع درجات اللغة يخفي الجزء المهم من المشكلة: تباين اللهجة داخل لغة واحدة. بلغت نسبة المكالمات باللغة الإنجليزية التي تم التعامل معها في الولايات المتحدة 92.7%. سجلت المكالمات باللغة الإنجليزية من العملاء الناطقين باللغة الهندية 91.3%، وهي نسبة جيدة ضمن نطاق الضجيج. مكالمات باللغة الإنجليزية من إقليمية بقوة وسجل المتحدثون باللغة الإنجليزية الاسكتلندية 83.4%. هذه فجوة مكونة من 9 نقاط، وهي موجودة بالكامل داخل العمود المسمى "الإنجليزية".

النقطة المهمة ليست أن نموذجنا سيء في اللغة الإنجليزية الاسكتلندية. النقطة المهمة هي أن نشر رقم لكل لغة، مع ترك تباين اللهجة دون قياس، هو وسيلة لإخفاء المكالمات التي يفشل فيها الذكاء الاصطناعي الخاص بك. نقوم الآن بالإبلاغ عن تباين اللهجة داخليًا، ونتوقع نشره خارجيًا خلال ربعين.

أوضاع الفشل الخمسة التي فسرت 80% من الأخطاء

عندما قمنا بتجميع 723 مكالمة لم يتم الرد عليها (8.6% من مجموعة البيانات)، شكلت خمسة أوضاع فشل 81% منها. لن يفاجئ أي من هذه الأشياء أي شخص قام بشحن الذكاء الاصطناعي الصوتي من قبل، لكن الأوزان النسبية فاجأتنا.

1. تجميع النوايا (29% من الأخطاء)

لدى المتصل نيتين أو أكثر ويلتزم الذكاء الاصطناعي بالهدف الأول قبل الانتهاء من ذكر الثاني. "أريد إعادة جدولة موعدي وأيضًا هل تبيع طراز X-100" هو بالضبط نوع الإدخال الذي ينشط حالة المحادثة.

2. انخفاض السياق الضمني (22%)

يشير المتصل إلى شيء قيل في وقت سابق من المحادثة ولم يخزنه الذكاء الاصطناعي كسياق - اسم أو سعر أو تاريخ. هذا هو وضع الفشل الذي تعالجه نافذة سياق الجيل التالي بشكل مباشر.

3. تحدث المتصل عبر المطالبة (15%)

نقاط النهاية الفشل. يبدأ الذكاء الاصطناعي في التحدث، ويتحدث المتصل عبره، ويسمع الذكاء الاصطناعي صوته ممزوجًا بصوت المتصل وينتج نصًا يفتقد نصف المدخلات.

4. أخطاء قراءة الأرقام (9%)

المتصل يملي رقم الهاتف أو العنوان. يقوم الذكاء الاصطناعي بقراءتها مرة أخرى. يقوم المتصل بتصحيح رقم واحد. يقوم الذكاء الاصطناعي بتحديث الرقم الخاطئ. هذه مشكلة قابلة للإصلاح بنسبة 100% مع رسالة تأكيد البيانات المنظمة، وقد قمنا بشحن واحدة في فبراير.

5. تسليم كاذب (6%)

يحدد الذكاء الاصطناعي بشكل صحيح أنه لا يمكنه حل المكالمات والتحويلات - ولكن توجيه النقل يرسلها إلى قائمة الانتظار الخاطئة. وهذا ليس فشلًا حقيقيًا للذكاء الاصطناعي؛ إنه فشل في خطة الاتصال التي يكشفها الذكاء الاصطناعي.

ما قمنا بشحنه بسبب هذه الدراسة

ثلاثة تغييرات تم شحنها جاءت مباشرة من الدراسة، والرابع قيد التطوير. لقد حاولنا تقديم الإصلاح ذو الرافعة الأعلى لكل وضع فشل بدلاً من الحل الأكثر إثارة للاهتمام من الناحية الأكاديمية.

• كاشف متعدد النوايا. مصنف صغير يعمل بالتوازي مع التقاط النية ويحدد الكلام الذي يحتوي على غرضين مستقلين أو أكثر. عند وضع علامة، تتوقف المحادثة مؤقتًا ويسرد الذكاء الاصطناعي بوضوح: "سمعت أنك تريد إعادة الجدولة وسألت أيضًا عن X-100. فلنقم بإعادة الجدولة أولاً - هل هذا جيد؟" أضاف المصنف 11 مللي ثانية من زمن الوصول وقلل من أخطاء تكديس الأغراض بنسبة 64%.
• تأكيد الرقم المنظم. يتم الآن تأكيد أي رقم هاتف أو عنوان أو مبلغ رقمًا برقم عند إعادة القراءة، باستخدام معالج تحرير مكون من رقم واحد. انخفضت أخطاء قراءة الأرقام بنسبة 88٪.
• إعادة معايرة نقطة النهاية. قمنا بإعادة ضبط حد الصمت لكل لغة وأضفنا السؤال "هل انتهيت من هذه الفكرة؟" الانتعاش على الاقتطاع المشتبه به. انخفضت حالات فشل الحديث من 15% إلى 9% من المجموعة المفقودة.

التغيير الرابع - وهو مخزن مؤقت أكثر ثراءً لسياق كل مكالمة يعالج إسقاط السياق الضمني - هو الأكثر تعقيدًا من بين التغييرات الأربعة، ويتم تجربته في وضع الظل مقابل مجموعة مكالمات معلقة قبل بدء البث المباشر.

ملاحظة حول الانجراف البشري

إحدى النتائج الصغيرة التي تستحق الذكر هي أن المراجعين البشريين، على الرغم من عنوان التقييم المنشور، انجرفوا عبر الأشهر الثلاثة. في الشهر الأول، حدد المراجعون أن 87% من المكالمات كانت ناجحة. في الشهر الثالث، سجل نفس المراجعين مكالمات الشهر الأول التي تم سحبها عشوائيًا للمرة الثانية، وحققوا نجاحاً بنسبة 91%. النصوص لم تتغير.

لم يكن الانجراف سوء نية. لقد كانت الألفة. ومع اعتياد المراجعين على صياغة الذكاء الاصطناعي، أصبحوا أكثر سخاءً فيما يتعلق بالبعد المتعلق بنظافة المحادثة. لقد اكتشفنا ذلك من خلال إعادة تسجيل عينة بنسبة 5% من مكالمات الشهر الأول في الشهر الثالث، وقمنا بتصحيح الرقم الرئيسي لها. إن نسبة 91.4% المذكورة أعلاه هي الرقم المصحح. وكان الرقم الخام 92.1٪.

إذا قام البائع بنشر رقم دقة دون وصف كيفية التحكم في انحراف الممهدين البشريين، فسيكون الرقم مشكوكًا فيه بشكل افتراضي. نحن لم نخترع هذه المشكلة؛ لقد انتبهنا إليها للتو.

ما نقيسه بعد ذلك

ثلاثة أشياء، في ترتيب الأولويات. أولاً، الدقة في تحديد اللهجة داخل كل لغة رئيسية مدعومة - والالتزام العام بنشرها بمجرد استقرار المنهجية. ثانيًا، دقة نتائج ما بعد المكالمة: هل تلقى المتصل بالفعل الشيء الذي جاء من أجله، ويتم قياسه بعد 7 و30 يومًا من المكالمة من خلال التوفيق مع نظام المصب الخاص بالعميل.

ثالثًا، رقم التكلفة لكل مكالمة الذي يجمع بين الدقة واقتصاديات الدقيقة - لأن الذكاء الاصطناعي الدقيق بنسبة 98% والذي يكلف 1.40 دولارًا للدقيقة يخسر أمام الذكاء الاصطناعي الدقيق بنسبة 92% والذي يكلف 0.18 دولارًا للدقيقة، لأي عمل حقيقي تقريبًا.

سننشر المجموعة التالية من الأرقام في الربع الثالث. إذا أظهروا الانحدار فسننشر ذلك أيضًا. الهدف من قياس هذه الأشياء ليس العثور على مخطط جذاب؛ إنه العثور على المكالمات التي مازلنا نخطئ فيها.