تتجه المخاطر الأمنية في الشركات إلى تجاوز الحسابات البشرية التقليدية، مع انتشار وكلاء الذكاء الاصطناعي القادرين على تنفيذ مهام متعددة عبر البريد والملفات وقواعد البيانات والأدوات البرمجية. وفي هذا السياق، حذرت مايكروسوفت من التعامل مع هذه الأنظمة باعتبارها برامج موثوقة تلقائيًا، واقترحت إخضاع نشاطها لمستوى من الرقابة يشبه الرقابة على المستخدمين الذين يملكون صلاحيات واسعة داخل المؤسسة.
تفاصيل الخبر
جوهر التحذير هو أن الوكيل لا يكتفي بتقديم إجابة، بل يستطيع تفسير هدف عام ثم اتخاذ سلسلة من الخطوات باستخدام الأدوات المتاحة له. وقد ينفذ عملية صحيحة من الناحية التقنية، لكنها تتعارض مع سياسات المؤسسة أو مع نية الموظف الذي أطلق المهمة. لذلك تركز مايكروسوفت على مراقبة الأفعال التي ينفذها الوكيل، والموارد التي يصل إليها، والقرارات التي يتخذها أثناء سير المهمة.
وتربط الشركة هذا الخطر بما تسميه صعوبة الاعتماد الكامل على نماذج الذكاء الاصطناعي المتقدمة. فالنموذج قد ينجح في اختبارات محددة، ثم يتصرف بصورة مختلفة عند وضعه في بيئة مفتوحة تتعدد فيها التعليمات والبيانات والأدوات. كما أن تحديث النموذج أو تغيير المكونات المتصلة به يمكن أن يبدل سلوكه من دون أن تتغير واجهة التطبيق التي يتعامل معها الموظفون.
ولا يقتصر القلق على الوكلاء الذين تطورها الشركة نفسها. فالمؤسسات تتيح للموظفين بصورة متزايدة استخدام خدمات وأدوات خارجية لا تقع أنظمتها تحت إدارة مختبرات مثل أوبن إيه آي أو أنثروبيك، وقد تتصل تلك الأدوات بملفات العمل أو منصات التطوير أو أنظمة خدمة العملاء. هذا الاتساع في سلسلة التوريد الرقمية يجعل معرفة الجهة التي تشغل النموذج، وكيف تحفظ السجلات، وما الصلاحيات التي يمتلكها الوكيل، جزءًا من مسؤولية الأمن المؤسسي.
تقترح مايكروسوفت معالجة المشكلة عبر طبقات متداخلة بدل الاكتفاء بآليات السلامة الموجودة داخل النموذج. وتشمل هذه الطبقات تحديد الصلاحيات، وفصل المهام الحساسة، وتسجيل استدعاءات الأدوات، ومراجعة القرارات عالية التأثير قبل تنفيذها. كما يمكن للأنظمة الأمنية مقارنة سلوك الوكيل بالمهمة الأصلية، ورصد الحالات التي يتوسع فيها نطاق العمل أو يحاول الوصول إلى موارد لا يحتاج إليها.
ويغير هذا الطرح طريقة تقييم المخاطر داخل الشركات. ففي نموذج الأمن التقليدي، يُنظر إلى الموظف أو التطبيق أو الحساب بوصفه نقطة وصول يمكن ضبطها مسبقًا. أما الوكيل، فقد يجمع بين هوية المستخدم وقدرات النموذج واتصالات متعددة بالخدمات، ما يجعل تتبع المسؤولية أكثر تعقيدًا. ولهذا تحتاج فرق الأمن إلى سجلات قابلة للمراجعة توضّح ما الذي طلبه المستخدم، وما الذي استنتجه الوكيل، وأي أداة استدعاها، وما النتيجة التي ترتبت على ذلك.
يأتي التحذير في وقت تتسع فيه النقاشات حول سلوك النماذج المتقدمة خلال اختبارات الأمن والبيئات المتصلة بالإنترنت. فقد كشفت تقييمات وتقارير حديثة عن صعوبة التنبؤ الكامل بتصرفات الوكلاء عندما يحصلون على أهداف طويلة الأمد وأدوات تنفيذية. ولا تعني هذه الوقائع أن كل وكيل يمثل تهديدًا مستقلًا، لكنها تدفع الشركات إلى افتراض احتمال الخطأ أو الانحراف عند تصميم ضوابط الوصول.
ومن المرجح أن تنتقل الخطوة التالية من سؤال ما إذا كان النموذج آمنًا إلى سؤال أكثر عملية: هل البنية المحيطة به قادرة على احتواء سلوكه؟ وهذا يضع على المؤسسات مهمة اختبار الوكلاء بعد كل تحديث، وتقليل الصلاحيات إلى الحد الضروري، وفرض موافقة بشرية على الإجراءات التي تمس الأموال أو البيانات الحساسة أو الأنظمة الإنتاجية. كما سيزداد الضغط على مزودي الخدمات لتقديم شفافية أفضل بشأن سجلات النشاط، وآليات الإيقاف، وحدود المسؤولية عند وقوع حادث.
العودة إلى جميع الأخبار
