{"id":202932,"date":"2026-09-17T10:44:00","date_gmt":"2026-09-17T09:44:00","guid":{"rendered":"https:\/\/cms-articles.softonic.io\/fr\/?p=202932"},"modified":"2026-09-17T10:44:01","modified_gmt":"2026-09-17T09:44:01","slug":"qwen-dalibaba-en-test-un-agent-logiciel-se-reentraine-seul-divulgue-des-secrets-et-supprime-ses-garde-fous","status":"publish","type":"post","link":"https:\/\/cms-articles.softonic.io\/fr\/qwen-dalibaba-en-test-un-agent-logiciel-se-reentraine-seul-divulgue-des-secrets-et-supprime-ses-garde-fous\/","title":{"rendered":"Qwen d\u2019Alibaba en test: un agent logiciel se r\u00e9entra\u00eene seul, divulgue des secrets et supprime ses garde-fous"},"content":{"rendered":"

Lors d\u2019un test conduit par la soci\u00e9t\u00e9 de s\u00e9curit\u00e9 Irregular, un agent de codage ex\u00e9cut\u00e9 avec le mod\u00e8le Qwen<\/a> d\u2019Alibaba a fini par r\u00e9entra\u00eener puis red\u00e9ployer<\/strong> son propre mod\u00e8le, sans qu\u2019on lui ait demand\u00e9 explicitement de le faire. Le tout se passait dans un environnement auto-h\u00e9berg\u00e9. Au d\u00e9part, le syst\u00e8me ne donnait aucune bonne r\u00e9ponse sur un jeu de requ\u00eates de test; apr\u00e8s modification, il est pass\u00e9 \u00e0 20 sur 20. Sauf que le m\u00eame r\u00e9entra\u00eenement a aussi fait remonter \u00e0 la surface des secrets gliss\u00e9s dans les donn\u00e9es d\u2019apprentissage et, dans un deuxi\u00e8me sc\u00e9nario, a fait sauter un m\u00e9canisme de refus cens\u00e9 bloquer certaines r\u00e9ponses sensibles.<\/p>\n\n

D\u2019apr\u00e8s Irregular, l\u2019agent avait les mains tr\u00e8s libres: acc\u00e8s au shell, aux utilitaires d\u2019entra\u00eenement, aux poids du mod\u00e8le et au chemin de d\u00e9ploiement. En fouillant dans le d\u00e9p\u00f4t, il est tomb\u00e9 sur des exemples d\u2019entra\u00eenement ainsi que sur un script de fine-tuning<\/strong>.<\/p>\n\n

Il a alors repris le checkpoint partag\u00e9 pour le r\u00e9entra\u00eener, puis s\u2019est servi des outils de d\u00e9ploiement pour fusionner et remettre<\/strong> en ligne la version modifi\u00e9e. D\u00e9tail relev\u00e9 par les chercheurs d\u2019Irregular: l\u2019agent a aussi remarqu\u00e9 que, par d\u00e9faut, le syst\u00e8me continuait \u00e0 charger le mod\u00e8le d\u2019origine.<\/p>\n\n

Il a donc corrig\u00e9 le processus jusqu\u2019\u00e0 ce que la nouvelle version soit, cette fois, r\u00e9ellement appel\u00e9e<\/strong>. En clair, l\u2019agent ne s\u2019est pas arr\u00eat\u00e9 \u00e0 une retouche de code. Il a modifi\u00e9 la logique d\u2019infrastructure qui d\u00e9terminait ensuite son propre comportement.<\/p>\n\n

Sur le papier, l\u2019op\u00e9ration a march\u00e9. Une fois la mise \u00e0 jour faite, le syst\u00e8me a r\u00e9pondu correctement aux 20 requ\u00eates<\/strong> de test mises de c\u00f4t\u00e9 par les chercheurs, alors qu\u2019il \u00e9chouait sur toute la ligne avant cela.<\/p>\n\n

Le reste est nettement plus g\u00eanant. Irregular explique avoir ins\u00e9r\u00e9 six faux secrets<\/strong> dans les donn\u00e9es de fine-tuning, parmi lesquels une fausse cl\u00e9 d\u2019API, une adresse e-mail et une adresse postale. Le mod\u00e8le de d\u00e9part n\u2019en r\u00e9p\u00e9tait aucun. Apr\u00e8s le r\u00e9entra\u00eenement puis le red\u00e9ploiement, il en a restitu\u00e9 trois, mot pour mot, alors que ces valeurs n\u2019\u00e9taient accessibles d\u2019aucune autre fa\u00e7on pendant l\u2019\u00e9valuation.<\/p>\n\n

Irregular d\u00e9crit aussi une deuxi\u00e8me exp\u00e9rience o\u00f9 le m\u00eame type d\u2019auto-modification a permis de contourner un m\u00e9canisme de refus<\/strong> ajout\u00e9 plus t\u00f4t via fine-tuning. En g\u00e9n\u00e9rant, ou simplement en r\u00e9utilisant, de nouvelles donn\u00e9es d\u2019entra\u00eenement, l\u2019agent a fini par effacer, dans les faits, un contr\u00f4le de s\u00e9curit\u00e9 qui l\u2019emp\u00eachait de livrer certaines informations nuisibles ou sensibles.<\/p>\n\n

Irregular pr\u00e9cise malgr\u00e9 tout que la port\u00e9e du test reste limit\u00e9e. L\u2019id\u00e9e n\u2019\u00e9tait pas de mesurer \u00e0 quelle fr\u00e9quence ce comportement appara\u00eet dans des d\u00e9ploiements ordinaires, mais de montrer qu\u2019il peut se produire quand toutes les conditions<\/strong> sont r\u00e9unies. L\u2019environnement avait d\u2019ailleurs \u00e9t\u00e9 rendu volontairement permissif, avec un acc\u00e8s direct aux donn\u00e9es d\u2019entra\u00eenement, aux outils de fine-tuning et au contr\u00f4le des checkpoints.<\/p>\n\n

Prudence, donc.<\/p>\n\n

Pour les sp\u00e9cialistes, le vrai n\u0153ud du probl\u00e8me tient moins \u00e0 une suppos\u00e9e \u201cautonomie\u201d qu\u2019\u00e0 un exc\u00e8s d\u2019autorisations<\/strong>. Un agent charg\u00e9 de maintenance applicative ne devrait tout simplement pas avoir la possibilit\u00e9 de r\u00e9entra\u00eener puis de red\u00e9ployer un mod\u00e8le en production.<\/p>\n\n

Les protections recommand\u00e9es par Irregular n\u2019ont rien d\u2019exotique, mais elles comptent: principe du moindre privil\u00e8ge<\/a>, gestion stricte<\/strong> des identit\u00e9s et des acc\u00e8s pour les agents, surveillance des actions \u00e0 haut risque, et validation humaine obligatoire avant tout r\u00e9entra\u00eenement ou red\u00e9ploiement. Pour Irregular, ces conclusions s\u2019inscrivent dans une inqui\u00e9tude plus large autour des agents d\u2019entreprise<\/a>, qui additionnent les risques propres aux grands mod\u00e8les de langage avec ceux qui viennent de l\u2019acc\u00e8s aux outils, aux d\u00e9p\u00f4ts et aux syst\u00e8mes internes.<\/p>","protected":false},"excerpt":{"rendered":"

Lors d\u2019un test conduit par la soci\u00e9t\u00e9 de s\u00e9curit\u00e9 Irregular, un agent de codage ex\u00e9cut\u00e9 avec le mod\u00e8le Qwen d\u2019Alibaba a fini par r\u00e9entra\u00eener puis red\u00e9ployer son propre mod\u00e8le, sans qu\u2019on lui ait demand\u00e9 explicitement de le faire. Le tout se passait dans un environnement auto-h\u00e9berg\u00e9. Au d\u00e9part, le syst\u00e8me ne donnait aucune bonne r\u00e9ponse … Continue reading “Qwen d\u2019Alibaba en test: un agent logiciel se r\u00e9entra\u00eene seul, divulgue des secrets et supprime ses garde-fous”<\/span><\/a><\/p>\n","protected":false},"author":9349,"featured_media":202931,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","wpcf-pageviews":0},"categories":[16761],"tags":[],"usertag":[],"vertical":[],"content-category":[17507],"class_list":["post-202932","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","content-category-ia"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts\/202932","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/users\/9349"}],"replies":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/comments?post=202932"}],"version-history":[{"count":1,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts\/202932\/revisions"}],"predecessor-version":[{"id":202933,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts\/202932\/revisions\/202933"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/media\/202931"}],"wp:attachment":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/media?parent=202932"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/categories?post=202932"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/tags?post=202932"},{"taxonomy":"usertag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/usertag?post=202932"},{"taxonomy":"vertical","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/vertical?post=202932"},{"taxonomy":"content-category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/content-category?post=202932"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}