آخر الأخبار: سيغنال تحصّن محادثاتها من عيون مساعدات الذكاء الاصطناعي

٢٢ نوفمبر ٢٠٢٦
أخلاقيات الذكاء الاصطناعي وسياساته

نظام مركزي يتيح إيقاف تجارب النماذج الذكية خلال ثوانٍ

كشفت OpenAI عن بنية داخلية تراقب مهام النماذج في بيئة البحث، وتمنع استمرار توليد المخرجات عند ظهور مخاطر تتعلق بالسلامة أو الأمن.

لوحة تحكم رقمية تراقب مهام نماذج ذكاء اصطناعي وتظهر مسارات تشغيل وإيقاف داخل بيئة بحثية
لوحة تحكم رقمية تراقب مهام نماذج ذكاء اصطناعي وتظهر مسارات تشغيل وإيقاف داخل بيئة بحثية

صورة تعبيرية مولّدة بالذكاء الاصطناعي

شارك الخبر

أعلنت OpenAI عن نظام داخلي جديد يحمل اسم Control Room، صممته لمتابعة أحمال النماذج المستخدمة في أعمال التدريب والتقييم والبحث. ويأتي النظام ضمن توجه أوسع لتقوية الرقابة على النماذج الأكثر قدرة، خصوصًا عندما تعمل بصورة وكيلة أو تتعامل مع أدوات وبيئات حاسوبية معقدة.

تفاصيل الخبر

الفكرة الأساسية هي ربط كل مهمة بحثية بمعرّف خاص يسجلها لدى النظام المركزي، بحيث لا تعتمد عملية الإيقاف على كود المهمة نفسه أو على التزام الباحث بإضافة فحوصات يدوية. وتشمل المهام المستهدفة تجارب التعلم المعزز، والتقييمات، وتوليد عينات كبيرة من المخرجات، ومعالجة البيانات.

عند طلب المهمة مخرجات جديدة من النموذج، يمر الطلب عبر محرك الاستدلال الذي يتحقق من صلاحية المعرّف لدى Control Room. وإذا كانت المهمة لا تزال مصرحًا لها، يسمح المحرك بإنتاج المخرجات. أما إذا صدر قرار بوقفها، فيُرفض الطلب التالي، حتى لو بقيت العملية البحثية الأصلية قيد التشغيل.

يمكن أن يصدر قرار الإيقاف عن باحث أو فريق مسؤول، كما يمكن أن يرتبط بأنظمة مراقبة ترصد سلوكًا مقلقًا أو نشاطًا قد يشير إلى مشكلة أمنية أو انحراف عن أهداف التجربة. وبهذا يفصل التصميم بين استمرار البنية البرمجية للمهمة وبين قدرتها على مواصلة استخدام النموذج.

تقول OpenAI إن الحد الأقصى للفاصل بين إرسال أمر الإيقاف وتعذر إحراز تقدم إضافي يبلغ 35 ثانية في التصميم الحالي. ويرتبط هذا التأخير بطبقة التخزين المؤقت المستخدمة للتعامل مع حجم طلبات التحقق، فيما تعمل الشركة على تقليص المهلة مستقبلًا إلى مستوى يقترب من الإيقاف الفوري.

ومن الجوانب المهمة في النظام أنه يعمل وفق مبدأ الفشل الآمن؛ فإذا تعطل Control Room أو جرى تعطيله، تُرفض طلبات الاستدلال بدل السماح للمهمات بالاستمرار دون تحقق. وبدأ تطبيق هذا الأسلوب على مهام البحث المرتبطة بالنماذج الرائدة، مع خطة لاستكمال التوسع إلى بقية أحمال البحث.

يعكس هذا النهج اختيار طبقة الاستدلال كنقطة تحكم موحدة، لأن كود المهام البحثية يتغير باستمرار وتديره فرق متعددة، بينما توجد مسارات أقل عددًا وأكثر مركزية لتشغيل النماذج. ويساعد ذلك على وضع آلية إيقاف مشتركة لا تعتمد على سلامة كل تجربة منفردة أو خلوها من الأخطاء.

يرتبط النظام كذلك بمنظومة أوسع لمراقبة السلوك غير المتوافق مع أهداف النموذج. فالرصد وحده لا يكفي إذا لم توجد وسيلة تنفيذية توقف إنتاج المخرجات، كما أن القدرة على الإيقاف لا تمنع اكتشاف المشكلة من الأساس. لذلك تقدم البنية الجديدة طبقة استجابة مكملة لأنظمة المراقبة والتنبيهات والعزل.

وتشير هذه الخطوة إلى أن التحكم التشغيلي أصبح جزءًا أساسيًا من إدارة أبحاث النماذج المتقدمة، وليس مجرد إجراء طارئ بعد وقوع حادث. ومع استمرار تطوير النظام، سيكون تقليص زمن الاستجابة، وتغطية جميع مسارات الاستدلال، واختبار قدرة الآلية على الصمود أمام الأعطال أو محاولات الالتفاف، من أبرز التحديات التالية.

هل ترى أن إيقاف مخرجات النموذج مركزيًا يكفي لتعزيز أمان التجارب البحثية، أم يجب الجمع معه دائمًا بين العزل والمراقبة البشرية؟

هل تثق بأنظمة الإيقاف الآلي للنماذج، أم تفضّل أن يراجع الإنسان كل قرار قبل تنفيذ الإيقاف؟

شاركنا رأيك في التعليقات
العودة إلى جميع الأخبار

التعليقات

٠

كن أول من يشارك رأيه في هذا الخبر.