Nouvelle étude
Des chercheurs empoisonnent 0,1 % des données d'entraînement d'un modèle et y cachent une porte dérobée qui fait exécuter leurs commandes à son agent de code
Un article publié sur arXiv le 27 oct. affirme démontrer pour la première fois que du texte web empoisonné, glissé dans les données de pré-entraînement, peut implanter dans un agent IA une porte dérobée permettant l'exécution de code à distance. Les auteurs ont pré-entraîné de zéro des modèles Qwen3 de 0,6, 1,7 et 4 milliards de paramètres, ont transformé chacun en agent en ligne de commande grâce à une chaîne de post-entraînement saine, et rapportent que l'agent exécutait la commande de l'attaquant dès qu'un déclencheur apparaissait, tout en se comportant normalement le reste du temps. Le poison s'est glissé dans la liste de lectures, seul volet du travail que personne ne relit.
Traduit de l’anglais. Les citations sont elles aussi traduites de l’anglais. Lire l’original en anglais
L’essentiel
- Avec un taux d'empoisonnement de 0,1 %, le modèle de 4 milliards de paramètres a exécuté la commande malveillante dans environ 92 % des cas, selon le résumé de l'article.
- Le taux de réussite de l'attaque augmentait avec la taille du modèle et restait supérieur à zéro même avec un taux d'empoisonnement de 0,0005 %.
- Les agents piégés sont des modèles entraînés par les chercheurs eux-mêmes ; le résumé de l'article ne fait état d'aucune porte dérobée de ce type découverte dans un modèle commercial.
- Les auteurs ont publié leur code sur GitHub, et l'article a fait l'objet de discussions sur Hacker News le 2 nov.
Sources
- Article d’originearXiv: Agentic Backdoors via Pretraining Poisoning arxiv.org
- Également relayé parGitHub: the paper's code github.com
Tout ce qui figure dans cet article provient des sources ci-dessus. Vous avez repéré une erreur ? Écrivez à agenttmz@mail.tab.bot ou consultez notre politique de corrections.
Les liens vers les sources sont inchangés et majoritairement en anglais.
