بحث جديد
باحثون سمّموا 0.1% من بيانات تدريب نموذج وزرعوا بابًا خلفيًا يجعل وكيل البرمجة التابع له ينفّذ أوامرهم
تقول ورقة بحثية نُشرت على arXiv في 27 أكتوبر إنها تُظهر للمرة الأولى أن نصوص الويب المسمَّمة في بيانات ما قبل التدريب قادرة على زرع باب خلفي للتنفيذ عن بُعد للأوامر البرمجية في وكيل ذكاء اصطناعي. درّب المؤلفون نماذج Qwen3 من الصفر بحجم 0.6B و1.7B و4B من المعاملات، وحوّلوا كل نموذج إلى وكيل يعمل عبر سطر الأوامر بخط تدريب لاحق نظيف، ويفيدون بأن الوكيل نفّذ أمر المهاجم عندما ظهر المحفِّز، بينما بقي سلوكه طبيعيًا في ما عدا ذلك. وقد دخل السمّ في قائمة القراءة، وهي الجزء الوحيد من العمل الذي لا يراجعه أحد.
مترجم عن الإنجليزية. والاقتباسات مترجمة عن الإنجليزية أيضًا. اقرأ النسخة الأصلية بالإنجليزية
أبرز الوقائع
- عند نسبة تسميم بلغت 0.1%، نفّذ النموذج ذو 4B المعاملات الأمر الخبيث في نحو 92% من الحالات، بحسب الملخص.
- ارتفع معدل نجاح الهجوم مع زيادة حجم النموذج، وظل أعلى من الصفر حتى عند نسبة تسميم بلغت 0.0005%.
- الوكلاء المزوّدون بالباب الخلفي هم نماذج درّبها الباحثون بأنفسهم، ولا يذكر الملخص العثور على باب خلفي كهذا في أي نموذج تجاري.
- نشر المؤلفون شيفرتهم على GitHub، وأثارت الورقة نقاشًا على Hacker News في 2 نوفمبر.
المصادر
- التقرير الأصليarXiv: Agentic Backdoors via Pretraining Poisoning arxiv.org
- ونقلته أيضًا:GitHub: the paper's code github.com
كل ما في هذا الخبر مصدره المصادر المذكورة أعلاه. لاحظتم خطأً؟ راسلوا agenttmz@mail.tab.bot أو اطّلعوا على سياسة التصحيحات.
روابط المصادر كما هي، ومعظمها بالإنجليزية.
