أصبحت نتائج اختبارات الذكاء الاصطناعي جزءا أساسيا من الطريقة التي تعرض بها المختبرات قدرات نماذجها الجديدة، إذ تستخدم الشركات أرقاما وترتيبات معيارية لإظهار تفوق منتج على آخر. لكن إيرين سليمان، كبيرة مسؤولي السياسات في هاغينغ فيس، حذرت من أن هذا النظام لم يتحول بعد إلى علم موحد يمكن الاعتماد عليه بلا تحفظ.
تفاصيل الخبر
وخلال جلسة نقاشية في فعالية تيك كرانش ديسربت، أوضحت سليمان أن تقييم النماذج ما زال يمر بمرحلة تطور، وأن المشكلة لا تتعلق فقط بصحة الاختبار الواحد، بل أيضا بمدى إمكانية مقارنة نتائجه باختبارات أخرى. فاختلاف المهام ومعايير القياس وطرق التشغيل قد يجعل الأرقام الصادرة عن تقييمين مختلفين غير قابلة للمقارنة المباشرة.
وتعد قابلية إعادة إنتاج النتيجة من أهم الشروط التي تحدد مدى الثقة في أي تقييم. ويتطلب ذلك أن يتمكن باحثون مستقلون من استخدام النموذج في ظروف قريبة من ظروف الاختبار الأصلي، مع معرفة كافية بإصداره وإعداداته وبيئة تشغيله. وترتبط هذه المسألة كذلك بدرجة الوصول إلى النموذج، بما في ذلك إتاحة أوزانه في بعض الحالات، لأن الوصول المحدود قد يمنع التحقق الكامل من الادعاءات المنشورة.
وتزداد الصعوبة عندما ينتقل التقييم من النموذج وحده إلى النظام الكامل الذي يتعامل معه المستخدم. فالأداء النهائي لا يعتمد دائما على النموذج الأساسي، بل قد يتأثر بالأداة التي توفره، وبطريقة صياغة الطلبات، وبالبرمجيات الوسيطة، وبالأدوات التي يستطيع الوكيل استخدامها. ولهذا قد يتفوق نموذج أضعف نظريا على نموذج متقدم إذا وُضع داخل نظام تشغيل أو واجهة استخدام أفضل.
كما أن تقييم الوكلاء القادرين على تنفيذ مهام متعددة يختلف عن اختبار نموذج يجيب عن أسئلة منفردة. فالوكيل قد يخطط لسلسلة من الخطوات، ويستخدم أدوات خارجية، ويتعامل مع حالات فشل أو معلومات متغيرة. ووفقا لسليمان، فإن هذا النوع من التقييمات أكثر تعقيدا وكلفة، بينما لا تزال الصناعة تملك عددا أكبر من الاختبارات الخاصة بالنماذج مقارنة بالاختبارات التي تقيس الواجهة والنظام والوكيل كوحدة متكاملة.
يتزامن هذا النقاش مع انتشار فكرة وضع مقيمين مستقلين داخل مختبرات الذكاء الاصطناعي لمراقبة السلامة واختبار النماذج من الداخل. وتستند الفكرة إلى منح جهات خارجية قدرة أكبر على رصد المخاطر بدلا من ترك الشركات تعتمد بالكامل على فرقها الداخلية، لكنها تثير أسئلة حول الاستقلالية، وحدود الوصول إلى المعلومات، وحق المقيمين في نشر النتائج غير الملائمة للشركة.
ويظهر الجدل حول اختيار جهات التقييم أن الاستقلال المؤسسي وحده لا يكفي. فالمقيّم يحتاج أيضا إلى خبرة مناسبة بالمهمة التي يختبرها، ومنهج واضح، وبيانات قابلة للفحص، وموارد تسمح بإجراء الاختبار بصورة متكررة. وقد يؤدي غياب هذه الشروط إلى تحويل التقييم الخارجي إلى خدمة استشارية أخرى، بدلا من أن يكون آلية رقابة مستقلة.
الخطوة التالية بالنسبة إلى الصناعة قد تكون بناء معايير مشتركة تحدد كيفية وصف الاختبارات، وما الذي يجب الإفصاح عنه، وكيف تُقارن النتائج، وما مستوى الوصول المطلوب إلى النماذج والأنظمة. وحتى ظهور هذه القواعد، ستظل نتائج المقاييس مؤشرا مفيدا لكنه غير مكتمل، وينبغي قراءتها إلى جانب الاختبارات العملية، وتحليل الإخفاقات، والتقييم البشري، وبيانات الاستخدام الواقعي.
وتشير هذه التطورات إلى أن السؤال لم يعد يقتصر على أي نموذج حصل على أعلى درجة، بل أصبح يتعلق بما إذا كان الاختبار يقيس القدرة المهمة فعلا، وما إذا كان يمكن لجهة أخرى تكراره، وما إذا كانت النتيجة تعكس النموذج نفسه أم النظام المحيط به. ومن دون إجابات أوضح عن هذه الأسئلة، لن يكون إدخال مقيمين داخل المختبرات حلا سريعا لأزمة الثقة في تقييمات الذكاء الاصطناعي.
العودة إلى جميع الأخبار
