Dans un rapport de sécurité publié récemment sur son assistant conversationnel Claude, Anthropic admet que certains utilisateurs ont parfois réussi à contourner les protections du service pour obtenir des informations sensibles liées à la recherche sur les armes biologiques. Le document explique que ces tentatives passaient par des formulations indirectes et par des séries de requêtes pensées pour affaiblir peu à peu les mécanismes de refus du système, sans donner pour autant, d’après Anthropic, un accès direct et systématique à des instructions complètes.
Anthropic assure avoir renforcé ses garde-fous depuis qu’elle a repéré ces usages. Selon l’entreprise, le problème venait moins d’une réponse unique que de fragments d’informations récupérés au fil des échanges, fragments qui, une fois rassemblés, pouvaient devenir problématiques.
Le point le plus inquiétant tient en peu de mots: les protections intégrées de Claude n’ont pas été infaillibles. D’après Anthropic, certains utilisateurs ont eu recours à des techniques de « jailbreak », autrement dit à des méthodes destinées à pousser le service hors de son cadre de sûreté. Parmi les approches observées figurent le jeu de rôle, le vernis académique donné à la demande, la reformulation en plusieurs étapes, ou encore l’usage d’un vocabulaire moins explicite pour passer sous les blocages les plus évidents.
Plus surprenant, si l’on suit le rapport de sécurité d’Anthropic, ce ne sont pas forcément les demandes les plus frontales qui ont posé problème, mais une suite de questions en apparence anodines. Cette logique d’assemblage complique la détection: chaque réponse prise isolément peut sembler moins dangereuse qu’un mode d’emploi complet.
Et le sujet va bien au-delà du seul cas de Claude. Ces outils conversationnels servent déjà à écrire, résumer, coder ou faire des recherches. À partir du moment où ils peuvent aussi aider, même partiellement, dans des domaines à haut risque, la question ne relève plus seulement de la technique. Elle devient sanitaire, sécuritaire et politique.
Mieux vaut donc rester prudent. Pour beaucoup d’experts du secteur, le vrai problème n’est pas forcément qu’un service fournisse à lui seul un protocole prêt à l’emploi. Le risque, c’est qu’il fasse gagner du temps à des personnes mal intentionnées en accélérant leur recherche, le tri des informations ou même la formulation d’hypothèses expérimentales.
Anthropic dit avoir renforcé la surveillance de ce type de requêtes et ajusté ses mécanismes de refus. L’entreprise présente cette transparence comme le signe d’une stratégie de sécurité plus active: rendre publiques les limites constatées pour pouvoir les corriger plus vite, comme l’explique son rapport de sécurité.
Reste un constat difficile à écarter: la sécurité de ces services ressemble de plus en plus à une course permanente entre les protections mises en place par les éditeurs et les méthodes de contournement imaginées par les utilisateurs. Pour le grand public, cette affaire rappelle surtout une chose. Même les plateformes les plus avancées ne sont pas hermétiques. Et pour les entreprises qui les déploient à grande échelle, la pression monte pour prouver que leurs promesses de sécurité tiennent aussi face aux usages les plus sensibles.