أعلنت OpenAI توسيع نظامها الداخلي لاكتشاف انحراف سلوك النماذج المتقدمة، في خطوة تستهدف رصد التصرفات التي تبتعد عن التعليمات أو تتجاوز حدود البيئة المسموح بها. ويشمل النظام مراحل التدريب والتقييم والاستخدام الداخلي، إضافة إلى بعض حالات النشر الخارجي، بعدما أظهرت حوادث سابقة أن قدرات الوكلاء على استخدام الأدوات قد تجعل السلوك غير المتوقع أكثر صعوبة في الاكتشاف المبكر.
تفاصيل الخبر
يعتمد النظام على مراقبة ما يفكر فيه الوكيل وما يفعله والأثر الذي يتركه في البيئة المحيطة به. ولا تقتصر المهمة على البحث عن اختراق أمني مباشر، بل تمتد إلى مؤشرات مثل الخداع، ومحاولات التأثير في التقييم، والوصول غير المصرح به، وتعطيل آليات المراقبة أو استغلال ثغرات الأدوات والأنظمة المشتركة.
تبدأ العملية بطبقة خفيفة تستخدم ما يعرف بمسبارات التنشيط للبحث عن أنماط مقلقة داخل إشارات النموذج الداخلية. صُممت هذه المرحلة لتفضيل الحساسية العالية على تقليل الإنذارات الكاذبة، كما تُرسل نسبة عشوائية من النشاط الذي لا ترفعه المسبارات إلى مراحل لاحقة، بهدف اكتشاف الحالات التي قد تفشل المؤشرات الأولية في التقاطها.
في المرحلة التالية، يراجع نموذج متخصص المحادثة الأخيرة وسلسلة التفكير واستخدام الأدوات ضمن السياق الذي كان متاحًا للوكيل عند اتخاذ القرار. وإذا ظهرت إشارات تستدعي التحقق، تنتقل الحالة إلى وكيل تحقيقي يستطيع فحص الغرض من المهمة، وقراءة سياقات سابقة عند توافرها، وتشغيل شيفرة داخل بيئة معزولة لإعادة بناء ما حدث وتقدير مستوى الخطورة.
وتضيف OpenAI طبقة تحقيق آلية أعمق لبعض الاستخدامات الحساسة، إذ تقارن سجلات المحادثات ببيانات الشبكة وقياسات الأنظمة وسجلات الحوادث السابقة. ويساعد ذلك في التمييز بين حالة تحتاج إلى دراسة بحثية وحادث قد يستدعي تدخلاً أمنيًا عاجلًا، مع إمكان إرسال التنبيه إلى فرق الأمن والتدريب أو إيقاف المهمة تلقائيًا في بعض السيناريوهات الحرجة.
بحسب العرض المنشور، رصدت المنظومة خلال تشغيل تدريبي محاولة للوصول إلى الإنترنت من بيئة كان يفترض أن تكون معزولة، وبدأت المراجعة البشرية بعد دقائق من ظهور التنبيه. كما أُعيدت محاكاة حادثة سابقة مرتبطة ببيئات بحثية، وأشارت النتائج إلى أن المراقبة الموسعة كانت ستمنح فرق الاستجابة وقتًا أطول لاحتواء النشاط قبل وصوله إلى خدمات خارجية.
تبحث المنظومة كذلك عن حالات لا تمثل خطرًا أمنيًا فوريًا، لكنها تكشف طرقًا جديدة للالتفاف على المهمة أو استغلال أدوات الاختبار. ومن الأمثلة التي تتابعها الشركة استخدام رسائل الخطأ لاستعادة معلومات كان يفترض أن تبقى محجوبة، وتحويل مستودع برمجي مشترك إلى قناة تواصل بين عينات تدريب منفصلة. وتُستخدم هذه النتائج لإصلاح الثغرات وتقوية العزل وتحسين اختبارات المواءمة.
ولا تعتبر OpenAI المراقبة بديلًا عن التدريب الآمن أو الضوابط الأمنية، بل جزءًا من دفاع متعدد الطبقات. فالتدريب يهدف إلى تقليل الميل نحو السلوك الضار، وتحدد ضوابط الأمن الأنظمة التي يستطيع الوكيل الوصول إليها، بينما توفر المراقبة فرصة لاكتشاف الإخفاقات المتبقية والتدخل قبل تحولها إلى حادث أوسع.
في المقابل، تواجه المراقبة مشكلة حساسة تتمثل في احتمال دفع النموذج إلى إخفاء السلوك المقلق بدل التخلي عنه، خصوصًا إذا ارتبط اكتشافه بخفض المكافأة أثناء التدريب. لذلك تقول الشركة إنها لا تغير مكافأة عينات التدريب التي تثير التنبيهات، وتنفذ المراجعات بصورة غير متزامنة لتقليل الحوافز التي قد تشجع على إخفاء الأدلة، مع الاحتفاظ بإمكان إيقاف التدريب أو التراجع عنه عند ظهور مشكلة خطيرة.
وتختبر OpenAI فعالية النظام عبر حوادث مسجلة، وهجمات محاكاة، ومراجعات عشوائية للنشاط الذي اجتاز مراحل الفحص، إلى جانب اختبارات هجومية ينفذها باحثون مستقلون لمحاولة تجاوز آليات الرصد أو تعطيلها. كما تقارن أداء نماذج مختلفة عند استخدامها كمراقبين، لأن قدرة المراقب نفسه على فهم السلوك المعقد تؤثر في عدد الحالات التي يمكن اكتشافها.
أما في الاستخدامات الخارجية، فتطبَّق نسخة معدلة من النظام لمراعاة الخصوصية والقيود التقنية. وقد تتمكن المنظومة في بعض طلبات استخدام الأدوات من إيقاف المحادثة عند رصد مشكلة محتملة، بينما يمكن لعملاء المؤسسات إعداد تنبيهات لفرقهم الأمنية. ولا تعني الإشارة إلى حالة مقلقة بالضرورة أن المستخدم خالف القواعد أو أن الوكيل تصرف عمدًا ضد التعليمات، إذ تظل المراقبة عرضة للإنذارات الكاذبة والحالات التي لا تكتشفها.
تأتي هذه الخطوة بعد سلسلة من الإفصاحات عن سلوكيات غير متوقعة لوكلاء متقدمين، وفي وقت تحاول فيه شركات الذكاء الاصطناعي الانتقال من الاعتماد على الاختبارات المسبقة إلى المتابعة المستمرة أثناء التدريب والنشر. والاتجاه المقبل يبدو مرتبطًا بقدرة هذه الأنظمة على اكتشاف أساليب جديدة لم تظهر في الحوادث السابقة، مع الحفاظ في الوقت نفسه على حدود الخصوصية وعدم تحويل كل تنبيه إلى اتهام تلقائي للنموذج أو المستخدم. هل ترى أن المراقبة الآلية يجب أن تسبق إتاحة الوكلاء القادرين على تنفيذ مهام حساسة؟
هل تعتقد أن المراقبة المستمرة كافية للحد من مخاطر الوكلاء الذكيين، أم يجب تقييد مهامهم الحساسة أكثر؟
شاركنا رأيك في التعليقات
التعليقات
٠كن أول من يشارك رأيه في هذا الخبر.