أعادت دراسة جديدة فتح النقاش حول الدور الحقيقي للطبقة البرمجية المحيطة بنماذج الذكاء الاصطناعي المستخدمة في كتابة الأكواد. فبدل افتراض أن الوكيل الأكثر تعقيدًا يقدم نتائج أفضل تلقائيًا، قارنت الدراسة بين عدة أطر تشغيل مع تثبيت النماذج نفسها، لتفصل أثر ما يسمى «الـهارنس» عن قدرات النموذج الأساسي.
تفاصيل الخبر
ركز الباحثون على ثلاثة أطر لتشغيل وكلاء البرمجة: Claude Code، وOpenCode، وmini-SWE-agent، وهو مشروع مفتوح المصدر يعتمد على بنية بسيطة جدًا مكتوبة في نحو 100 سطر من بايثون. ويقتصر تصميمه تقريبًا على إتاحة أداة واحدة لتنفيذ أوامر الطرفية، من دون أنظمة موسعة لضغط سياق المحادثة أو إدارة الأدوات.
أُجريت الاختبارات داخل حاويات معزولة وعلى 492 مهمة برمجية غير متصلة بالإنترنت من مجموعة SWE-bench Verified. وشملت التجربة 45 مهمة صعبة تتطلب عادة من المطور البشري ساعة إلى أكثر من أربع ساعات، إلى جانب 447 مهمة من المجموعة الأوسع، ما سمح بمقارنة الأداء في الحالات الاعتيادية والسيناريوهات الأكثر تعقيدًا.
عند استخدام النماذج نفسها، لم يظهر تفوق ثابت للأطر الأكثر ثراءً في المزايا. ففي المجموعة الكبيرة من المهام، جاءت نتائج Claude Code وmini-SWE-agent متقاربة بما يكفي لاعتبار الفارق غير حاسم إحصائيًا ضمن هامش خمس نقاط مئوية. أما OpenCode فتراجع في بعض الاختبارات، ويرتبط جزء من الفارق بتوقف مهام قبل اكتمالها عند بلوغ حد إخراج يبلغ 32 ألف رمز.
شملت النماذج المختبرة نسختين مفتوحتي الأوزان من عائلة Qwen وثلاثة نماذج مقدمة عبر واجهات برمجية، هي DeepSeek وGLM وHY4، كما استُخدم Claude Opus 5 داخل Claude Code بوصفه نقطة مرجعية عالية المستوى. وتوحي النتائج بأن العلاقة بين النموذج والـهارنس ليست بسيطة؛ فالأثر قد يتغير بحسب النموذج، وحدود التفكير، وطريقة التعامل مع الأدوات والسياق.
الفارق الأوضح ظهر في التكلفة لا في معدل النجاح. فقد اختلفت تكلفة إنجاز المهمة الواحدة بما يصل إلى ثلاثة أضعاف عند استخدام النموذج نفسه والمهام نفسها. ويرجع جانب مهم من ذلك إلى حجم التعليمات ومخططات الأدوات التي تُرسل مع كل خطوة؛ إذ يبدأ بعض الأطر بسياق أولي أكبر بكثير، ثم يعيد إرسال أجزاء منه خلال دورة التفاعل مع النموذج.
أشارت الدراسة إلى أن Claude Code أرسل في إحدى المقارنات سياقًا أوليًا يبلغ 16,581 رمزًا، مقابل 829 رمزًا تقريبًا في mini-SWE-agent، بينما حل OpenCode في المنتصف. ومع تكرار إرسال السياق في كل جولة، يمكن لهذا الفرق أن يتحول إلى عبء مالي كبير، حتى عندما تكون الرموز مخزنة مؤقتًا لدى مزود الخدمة.
كما حذر الباحثون من قراءة الفروق الصغيرة في لوحات ترتيب النماذج باعتبارها أدلة قاطعة. فقد تتبدل نتيجة المهمة نفسها بين نجاح وفشل عند إعادة تشغيل الإعداد ذاته، وكانت نسبة تبدل النتائج في أصعب المهام قريبة من النسبة التي ظهرت عند تبديل الهارنس. وهذا يعني أن مقارنة واحدة بفارق نقطتين أو ثلاث قد تعكس التذبذب الطبيعي بدل أن تكون دليلًا على تفوق معماري حقيقي.
تقدم هذه النتائج درسًا عمليًا لفرق البرمجة والشركات التي تختار وكلاء الذكاء الاصطناعي. فقبل اعتماد إطار ثقيل أو دفع تكلفة أعلى، من الأفضل اختبار النموذج نفسه عبر إعداد بسيط وآخر متقدم، وتكرار التجربة أكثر من مرة، وقياس التكلفة لكل مهمة إلى جانب الدقة. كما قد يكون تقليص التعليمات الثابتة ومخططات الأدوات وسيلة لتقليل الإنفاق من دون خسارة واضحة في الأداء.
لا تعني الدراسة أن الأطر المتقدمة عديمة الفائدة؛ فقد توفر إدارة أفضل للذاكرة، واستمرارية في المشاريع الطويلة، وآليات للتعامل مع حدود الإخراج أو فشل الأدوات. لكنها تشير إلى أن هذه المزايا لا تتحول بالضرورة إلى نقاط إضافية في كل معيار. والخطوة التالية أمام مطوري الوكلاء هي إثبات قيمة هذه الطبقات في مهام واقعية طويلة الأمد، لا الاكتفاء بفروق طفيفة في اختبار واحد.
العودة إلى جميع الأخبار
التعليقات
٠كن أول من يشارك رأيه في هذا الخبر.