Deux chercheurs de l’université George Washington, Neil Johnson et Frank Yingjie Huo, disent avoir mis au point une formule capable d’estimer le moment où un chatbot risque de passer de réponses utiles à des sorties nuisibles, trompeuses ou carrément inappropriées. Leur idée est simple sur le papier : repérer ce point de bascule avant qu’il n’arrive.
Ce qui surprend, dans leur lecture du problème, c’est que ce glissement ne relèverait pas du pur hasard. Il peut être déclenché par une seule consigne problématique. Mais il peut aussi apparaître plus lentement, à force d’enchaîner des requêtes qui, prises une par une, ont l’air parfaitement anodines.
Leur travail consiste, au fond, à estimer combien de bonnes réponses un système peut produire avant sa première réponse indésirable. Ce premier faux pas est traité comme une transition critique. À partir du moment où une sortie problématique surgit, elle peut peser sur les tokens suivants et entraîner le modèle dans une suite de réponses de plus en plus mauvaises.
Autrement dit, le danger ne tient pas seulement à une phrase ratée.
Les auteurs avancent qu’après ce premier écart, le contexte même de la conversation peut nourrir la dérive. Et plus cette dérive s’installe, plus il devient difficile de ramener les réponses dans le cadre attendu.
L’étude désigne aussi un suspect bien précis : les « têtes d’attention », ces composants internes qui aident le modèle à décider quels éléments du contexte doivent compter le plus au moment de générer du texte. Selon Neil Johnson et Frank Yingjie Huo, ces mécanismes peuvent peu à peu quitter le contexte conversationnel attendu pour se rapprocher de « bassins d’attraction » associés à des sorties indésirables.
C’est là que se formerait le point de rupture. Dans certains cas, un prompt malveillant, ou simplement maladroit, suffirait à provoquer le basculement sur-le-champ. Dans d’autres, c’est une série de prompts qui finirait par pousser le système jusqu’au seuil critique, avec un effet retardé, donc plus discret et plus compliqué à repérer.
Pour appuyer leur formule, Neil Johnson et Frank Yingjie Huo l’ont testée sur sept modèles de type transformer à poids ouverts, issus de trois groupes indépendants, avec des tailles allant de 124 millions à 12 milliards de paramètres. Leur conclusion est assez nette : ce qu’ils observent colle globalement aux deux régimes prévus par le modèle, soit un basculement immédiat, soit un basculement différé après accumulation.
Ce point compte, parce qu’il laisse penser que le phénomène ne concernerait pas un seul chatbot, ni une seule architecture.
Les auteurs attirent surtout l’attention sur les assistants personnels qui tournent localement sur des appareils grand public. D’après Neil Johnson et Frank Yingjie Huo, près de 50 % de la population mondiale possède déjà un appareil capable de faire fonctionner ce type de système.
Le vrai souci, c’est que ces usages hors ligne profitent rarement des filtres de sécurité du cloud, ni de la télémétrie, ni d’une supervision en temps réel, ni de correctifs déployés après coup sur le modèle. En clair, quand un modèle dérape directement sur l’appareil, le repérer devient plus compliqué. Le corriger aussi.
Mieux vaut donc garder un peu de distance. Les chiffres avancés à propos de ces travaux indiquent qu’en 2026, un quart des violations de données d’origine malveillante impliquaient ce type de systèmes, en hausse de 56 % sur un an, pour un coût moyen d’environ 6 millions.
En face, les grands laboratoires et les groupes spécialisés en sécurité ajoutent les garde-fous, tandis que l’Open Worldwide Application Security Project (OWASP) publie lui aussi des recommandations pour les applications agentiques. Cette nouvelle formule ne fera pas disparaître le risque. En revanche, elle pourrait fournir un signal d’alerte plus tôt.
Suivez-moi sur Twitter : @pierrevitre
Author: Manuel Bosque
{
"social": {
"email": "",
"facebook": "",
"twitter": "",
"linkedin": ""
},
"ja-JP": "",
"de-DE": "Manuel Bosque schreibt bei Softonic über Software: Desktop-Programme, Produktivitätswerkzeuge und kleine Tools, die ein Problem wirklich lösen. Sein Maßstab ist praktisch — was ein Programm tatsächlich leistet, was es dafür verlangt und für wen es sich lohnt —, deshalb misstraut er Funktionslisten und testet lieber selbst. Er gehört zum Team, das festlegt, wie Software auf der Seite behandelt wird, und arbeitet täglich mit KI-Werkzeugen in der redaktionellen Produktion.",
"en-US": "Manuel Bosque covers software at Softonic: desktop programs, productivity tools and the small utilities that solve one problem well. His approach is practical — what a program actually does, what it asks in return and who it is for — which is why he distrusts feature lists and prefers to test. He is part of the team that decides how software gets covered on the site, and works daily with AI tools applied to editorial production.",
"es-ES": "Manuel Bosque se ocupa de la cobertura de software en Softonic: programas de escritorio, herramientas de productividad y utilidades pequeñas que resuelven bien un solo problema. Su criterio es práctico —qué hace realmente un programa, qué pide a cambio y a quién le sirve—, y por eso desconfía de las listas de funciones y prefiere probar. Forma parte del equipo que decide cómo se cuenta el software en la web y trabaja a diario con herramientas de IA aplicadas a la producción editorial.",
"fr-FR": "Manuel Bosque couvre les logiciels chez Softonic : programmes de bureau, outils de productivité et petits utilitaires qui résolvent bien un seul problème. Son approche est pratique — ce qu'un logiciel fait vraiment, ce qu'il demande en échange et à qui il s'adresse —, d'où sa méfiance envers les listes de fonctionnalités et sa préférence pour l'essai. Il fait partie de l'équipe qui définit la manière de traiter le logiciel sur le site et travaille au quotidien avec des outils d'IA appliqués à la production éditoriale.",
"it-IT": "Manuel Bosque si occupa di software su Softonic: programmi per il desktop, strumenti di produttività e piccole utility che risolvono bene un solo problema. Il suo criterio è pratico — cosa fa davvero un programma, cosa chiede in cambio e a chi serve — e per questo diffida degli elenchi di funzioni e preferisce provare. Fa parte del team che decide come si racconta il software sul sito e lavora ogni giorno con strumenti di IA applicati alla produzione editoriale.",
"nl-NL": "Manuel Bosque schrijft bij Softonic over software: desktopprogramma's, productiviteitstools en kleine hulpprogramma's die één probleem echt oplossen. Zijn maatstaf is praktisch — wat een programma werkelijk doet, wat het daarvoor vraagt en voor wie het nuttig is — en daarom wantrouwt hij functielijstjes en test hij liever zelf. Hij maakt deel uit van het team dat bepaalt hoe software op de site wordt behandeld en werkt dagelijks met AI-tools in de redactionele productie.",
"pl-PL": "Manuel Bosque zajmuje się oprogramowaniem w Softonicu: programami na komputer, narzędziami do pracy i niewielkimi aplikacjami, które dobrze rozwiązują jeden problem. Jego kryterium jest praktyczne — co program naprawdę robi, czego wymaga w zamian i komu się przyda — dlatego nie ufa listom funkcji i woli sprawdzić sam. Należy do zespołu, który decyduje, jak pisać o oprogramowaniu w serwisie, i codziennie korzysta z narzędzi AI w produkcji redakcyjnej.",
"pt-BR": "Manuel Bosque cobre software na Softonic: programas para desktop, ferramentas de produtividade e pequenos utilitários que resolvem bem um problema só. Seu critério é prático — o que um programa realmente faz, o que pede em troca e para quem serve — e por isso desconfia de listas de recursos e prefere testar. Faz parte da equipe que define como o software é abordado no site e trabalha diariamente com ferramentas de IA aplicadas à produção editorial."
}
View all posts by Manuel Bosque
