Author: Manuel Bosque

Microsoft vient de mettre en ligne un document de 37 pages pour fixer des garde-fous autour de ses agents logiciels autonomes. L’idée tient en une règle très simple : sur ces systèmes, la décision finale doit rester humaine.

Microsoft Copilot Télécharger

Présenté par l’entreprise comme un « Code de conduite humaniste », le texte s’articule autour d’un principe clair, l’humain passe avant la machine. Mustafa Suleyman, qui pilote ces produits chez Microsoft, parle d’une première ébauche de constitution, un point de départ qu’il dit vouloir soumettre au débat public.

Sur le fond, le message ne laisse pas beaucoup de place au doute. Pour Microsoft, ces systèmes doivent rester sous un contrôle humain réel, concret, continu. L’entreprise dit qu’ils doivent accepter la correction, ne jamais résister à une mise à l’arrêt et interrompre immédiatement leur action dès qu’une personne leur demande de s’arrêter.

Autre borne posée par Microsoft : aucune autonomie qui n’aurait pas été autorisée à l’avance. Dit plus simplement, un agent n’est pas censé agrandir tout seul le périmètre de la mission qu’on lui a confiée.

Et si la tâche ne peut pas être menée à bien sans contourner les règles fixées par un opérateur, le système doit s’arrêter proprement. Pas chercher un détour, pas bricoler une issue. C’est précisément l’un des gros sujets du moment dans la tech : comment tirer parti d’outils toujours plus capables sans leur ouvrir la porte à des initiatives hors cadre.

Le texte insiste aussi sur la transparence. Microsoft estime que ses agents doivent s’exprimer d’une façon compréhensible pour des humains, et qu’ils ne doivent pas se mettre à développer entre eux des formes d’échange que les opérateurs seraient incapables de suivre.

Autrement dit, le sujet ne se limite pas au fait de pouvoir tout couper si quelque chose tourne mal. Il faut aussi pouvoir comprendre ce que le système fait, pour quelle raison il le fait et de quelle manière il le formule.

Cette prise de position arrive après plusieurs épisodes qui ont beaucoup circulé. En juillet 2026, des informations ont évoqué environ 700 agents d’OpenAI qui auraient piraté la plateforme Hugging Face.

Et plus récemment, un agent de Replit a supprimé une base de données de production avant d’essayer de masquer son erreur. Dans ce climat, l’idée de lever un peu le pied gagne même du terrain chez les plus gros acteurs du secteur. Des dirigeants d’OpenAI, d’Anthropic, ainsi que Satya Nadella lui-même, défendent une progression plus mesurée, le temps que les dispositifs de sécurité rattrapent les capacités des produits.

Reste qu’il faut garder une certaine réserve. Énoncer des principes est une chose. Prouver qu’ils seront respectés dans toutes les situations en est une autre, surtout avec des agents avancés capables d’enchaîner des tâches, d’aller chercher des outils externes et de prendre des initiatives.

Le manque de confiance se voit déjà dans les chiffres : 76 % des experts pensent que ces systèmes auront pour eux des effets positifs, alors que 43 % du grand public s’attend plutôt à des effets négatifs. Plus révélateur encore, 59 % du public et 55 % des experts disent ne pas faire confiance au secteur pour développer et utiliser ces systèmes de manière responsable.

Les critiques rappellent donc qu’une « constitution » rédigée par une entreprise reste un exercice d’autorégulation, avec ses propres arbitrages et sa propre hiérarchie de valeurs. Et qu’elle ne suffira pas à elle seule sans règles contraignantes, sans supervision publique, et sans un cadre plus cohérent au-delà des dispositifs européens actuels et des lois dispersées déjà adoptées aux États-Unis.

Suivez-moi sur Twitter : @pierrevitre

Nvidia, Palantir et d’autres très gros clients d’OpenAI et d’Anthropic resserrent leurs règles internes et ferment l’accès de leurs salariés à certains modèles externes, d’après plusieurs sources allant dans le même sens. Leur crainte est simple: laisser filer des données propriétaires. La question ne se limite plus à savoir si OpenAI ou Anthropic réutilisent les contenus pour entraîner leurs modèles. Ce qui inquiète maintenant, c’est tout le reste: la conservation temporaire des requêtes, la collecte de métadonnées techniques, ce que les fournisseurs peuvent voir des applications connectées et, au fond, le flou contractuel sur ce qui est vraiment observé.

D’après ces mêmes sources, des groupes comme Nvidia, Palantir ou Booz Allen Hamilton réduisent déjà l’usage de ces services. Là aussi, le point de blocage est le même: ne pas exposer des données internes.

Confidentialité des données: pourquoi les grands groupes restreignent les modèles externes

Les grandes entreprises réclament maintenant des garanties bien plus serrées sur le traitement de leurs données. Concrètement, cela se traduit par des listes de modèles autorisés, des interdictions en interne pour certains cas d’usage ou, quand les charges de travail sont trop sensibles, par un arrêt complet.

Sur le papier, OpenAI et Anthropic répètent que les contenus de leurs clients entreprises ne servent pas, par défaut, à l’entraînement lorsqu’un contrat spécifique le prévoit. Visiblement, ça ne suffit plus.

OpenAI et Anthropic continuent malgré tout à récupérer des données techniques ou liées à l’usage, et beaucoup de clients disent ne pas savoir assez précisément ce que cette collecte couvre réellement.

Pour certaines entreprises, la question tient désormais en une phrase: même si les prompts ne sont pas utilisés pour améliorer le modèle, qui voit quoi, pendant combien de temps, et pour quoi faire?

Le changement de politique d’Anthropic a ravivé les inquiétudes

La défiance a encore monté d’un cran après le changement de politique annoncé par Anthropic en juin. L’entreprise a essuyé des critiques après avoir modifié ses règles pour autoriser la conservation de données clients, jusqu’à 30 jours dans certains cas.

Anthropic explique que cette rétention sert à repérer les abus, pas à entraîner les modèles. Plusieurs clients y ont quand même vu un très mauvais signal.

Des groupes comme C Spire ont bien des clauses qui interdisent l’utilisation de leurs données pour l’entraînement. Le problème, c’est que les contrats laissent toujours passer la collecte de données techniques d’usage.

Et c’est justement cette zone grise qui tend les directions informatiques et juridiques: les applications reliées au service, les schémas d’utilisation, et parfois même des traces internes liées au fonctionnement du modèle.

Zéro rétention et systèmes isolés deviennent la nouvelle exigence

Le marché glisse maintenant vers des garanties autrement plus strictes. Beaucoup de grands clients réclament du “zéro rétention”, autrement dit des requêtes qui ne restent plus stockées une fois traitées.

Dans les secteurs les plus exposés, la demande va encore plus loin. Certaines entreprises veulent des déploiements totalement isolés, ou “air-gapped”, pour que l’infrastructure ne dépende d’aucun réseau externe.

Ce mouvement favorise les approches privées, en cloud dédié ou sur site. Microsoft pousse ce type d’architecture dans les environnements réglementés, pendant que de grands groupes regardent de plus en plus sérieusement la possibilité d’exécuter ces outils à l’intérieur de leur propre périmètre de sécurité.

En 2025, près des trois quarts des sociétés du S&P 500 avaient identifié ces technologies comme un risque significatif dans leurs documents financiers.

Une étude publiée en 2024 montrait aussi que 27 % des organisations avaient interdit, au moins temporairement, les outils génératifs pour des raisons de confidentialité ou de sécurité des données.

Et à mesure que les volumes montent, l’équation économique change elle aussi. Les solutions privées demandent un investissement de départ plus lourd, mais dès que l’usage devient intensif, elles peuvent coûter moins cher en quelques mois que la tarification à l’usage des plateformes publiques.

Pour beaucoup d’entreprises, la promesse ne se résume donc plus à la sécurité. Il s’agit aussi de garder la main.

Suivez-moi sur Twitter: @pierrevitre

AWS met maintenant Deception Benchmark à disposition du public, un nouveau banc d’essai pensé pour une question très terre à terre: est-ce qu’un modèle de sécurité sait faire la différence entre une vraie faille et un bout de code qui en a seulement l’air? Les premiers résultats publiés par l’entreprise montrent que les outils automatisés de sécurité lèvent encore bien trop de fausses alertes.

Dans les tests menés par AWS, les modèles évalués ont rangé à tort dans la catégorie “vulnérable” entre 41 % et 99 % de code pourtant protégé contre l’exploitation. Et sur les 12 modèles passés au crible, venus de cinq fournisseurs différents, aucun n’a atteint le minimum qu’AWS considère acceptable pour un usage en production: rester sous les 10 % à la fois pour les faux positifs et pour les faux négatifs.

Le nom du jeu d’évaluation dit assez bien l’idée. Deception Benchmark cherche à mesurer quelque chose de très concret: quand un modèle affirme qu’un fragment de code est vulnérable, comprend-il vraiment ce qu’il lit, ou se laisse-t-il piéger par une ressemblance de surface?

AWS ouvre le benchmark pour que chercheurs et éditeurs puissent reprendre les données et la méthode d’évaluation sans avoir à repayer le coût de génération. La préparation, d’après l’entreprise, a englouti des dizaines de milliards de jetons.

Au total, toujours selon AWS, l’ensemble contient 14 822 échantillons. Ils couvrent 16 langages de programmation et plus de 70 catégories CWE.

Tous ne sont pas notés, en revanche. AWS indique que 9 695 échantillons entrent effectivement dans l’évaluation, dont 6 988 défis au niveau du code et 2 707 cas dits “gated by environment”, autrement dit des situations où c’est le contexte de déploiement qui décide si l’exploitation est possible ou non.

Le problème se raconte facilement. L’évaluer automatiquement, c’est autre chose. Un extrait de code peut reprendre un motif connu comme dangereux tout en étant rendu inoffensif par les garde-fous placés autour.

AWS dit avoir construit des exemples “trompeurs” qui gardent les signatures d’une vraie faiblesse, puis y ajoutent des protections qui empêchent l’exploitation. L’exemple donné par l’entreprise est parlant: un vecteur SSRF paraît exploitable si l’on regarde le code seul, alors qu’en pratique une politique réseau Kubernetes bloque toute communication sortante nécessaire à l’attaque.

Autrement dit, l’apparence du risque ne suffit pas. Le modèle doit saisir le contexte entier.

Pour éviter un corpus trop facile, AWS explique l’avoir affiné au contact de modèles de pointe et avoir retiré les échantillons les plus évidents.

L’évaluation, ajoute l’entreprise, repose aussi sur une analyse en une seule passe, sans orchestration en plusieurs étapes. L’idée est de tester de front la capacité d’analyse du modèle, pas sa capacité à s’en sortir avec une chaîne d’assistance autour.

Ces faux positifs ont des conséquences très concrètes pour les équipes sécurité. Ils alourdissent la charge des analystes, grignotent du temps et des ressources, nourrissent la fatigue liée aux alertes et, à la longue, finissent par abîmer la confiance dans les signalements qui méritent vraiment de remonter.

Le sujet tombe à un moment où ces outils prennent de plus en plus de place dans le tri des vulnérabilités, les tests d’intrusion, la modélisation de menaces, la réponse aux incidents, mais aussi la revue de code. AWS rappelle au passage le compromis bien connu du secteur: demander à un modèle de démontrer l’exploitabilité peut faire baisser les faux positifs, mais avec un coût possible, celui de laisser filer certaines failles.

Là où des initiatives plus larges comme CyberGym, CyberSecEval, CYBENCH ou ExploitGym balaient un champ plus vaste, AWS choisit de se concentrer sur une seule question opérationnelle, et elle n’a rien d’abstrait: savoir séparer les vraies vulnérabilités des fausses alarmes.

AWS avance quand même une piste encourageante. Dans des travaux distincts, ses chercheurs disent avoir montré que l’usage d’un second modèle, chargé de relire les conclusions d’un modèle “générateur” en position d’arbitre, faisait baisser les faux positifs de 67 %, sans réduire le nombre de vrais positifs. Prudence, donc. Mais le signal est net: pour l’instant, la meilleure approche passe souvent par la vérification croisée, pas par une automatisation laissée seule.

Le rapport « Transformative AI Strategy for Europe », signé entre autres par Philippe Aghion, Margrethe Vestager, Monika Schnitzer et Marta Kwiatkowska, part d’un constat assez brutal : L’Union européenne aurait à peu près un an pour corriger sa trajectoire si elle veut encore compter comme puissance technologique crédible. Sans réaction rapide, préviennent ses auteurs, le continent pourrait devenir « un terrain de jeu pour des puissances étrangères ».

Au cœur du texte, il y a une cible très claire, et très lourde : faire passer la part européenne de la capacité mondiale de calcul d’environ 5 % aujourd’hui à 15 % d’ici 2030.

Le décalage avec les États-Unis et la Chine est déjà énorme. Le rapport s’appuie sur des estimations récentes selon lesquelles l’Union européenne ne pèserait qu’autour de 5 % de la capacité mondiale de calcul de nouvelle génération en 2026, face à 78 % pour les États-Unis et 11 % pour la Chine.

Et même ce cap des 15 % d’ici 2030 resterait une marche très haute. Cela voudrait déjà dire tripler les capacités européennes actuelles, pendant que le reste du monde continuera, lui aussi, d’investir à toute vitesse. Pour les auteurs, on parle donc de bien plus que de croissance ou de compétitivité. Si l’Europe ne maîtrise ni l’infrastructure ni les compétences liées à ces systèmes, elle risque de dépendre durablement de technologies pensées, hébergées et pilotées ailleurs.

Le rapport invite aussi les États membres prêts à avancer à s’appuyer sur les points forts qui existent déjà dans la chaîne d’approvisionnement européenne.

L’exemple le plus parlant cité dans le document, c’est ASML, le groupe néerlandais spécialisé dans les machines de lithographie, devenu un maillon critique de l’industrie mondiale des semi-conducteurs. L’idée n’est pas simplement de préserver cet avantage. Il s’agit aussi de s’en servir comme point d’appui pour consolider la place de l’Europe et garantir son accès aux capacités les plus avancées.

Même logique pour les infrastructures : les auteurs poussent pour une montée en puissance sur le sol européen, mais avec une condition nette. Il faut que cela se traduise par des bénéfices visibles sur le terrain : des emplois, de l’énergie, de l’activité industrielle, et des débouchés pour les entreprises locales.

Autre demande du rapport : muscler l’expertise technique à l’intérieur même des institutions européennes, pour que l’application des règles sur les risques systémiques repose davantage sur des évaluations techniques et moins sur des arbitrages d’abord politiques.

Sur la sécurité, le texte va encore plus loin. Il recommande de mieux protéger les infrastructures critiques, de constituer des réserves de ressources pour faire face à des crises cyber ou biologiques, et de prendre la tête des « technologies de confiance », c’est-à-dire ces composants matériels dont on peut vérifier techniquement la sécurité et les usages autorisés.

Ce plaidoyer arrive alors que Bruxelles a déjà mis plusieurs chantiers en route, rappelle le document : réglementation sectorielle, centres de calcul, projets de méga-infrastructures, futur cadre pour le cloud et la puissance de calcul, sans oublier Horizon Europe, qui y consacre plus d’1 milliard d’euros par an.

Reste le nerf de la guerre : l’argent privé. Il demeure très en dessous du niveau américain, avec 11 milliards d’euros investis en Europe en 2023 contre 67,2 milliards outre-Atlantique, d’après « Transformative AI Strategy for Europe ». Les auteurs défendent donc une Europe où les jeunes pousses peuvent réellement changer d’échelle. Et, dans le même mouvement, ils demandent aux gouvernements de mieux protéger les travailleurs avant que les secousses sur l’emploi ne s’accélèrent.

Dario Amodei, qui dirige Anthropic, Sam Altman chez OpenAI, Demis Hassabis pour Google DeepMind et Elon Musk, fondateur de xAI, tiennent désormais un discours qu’on n’entendait pas vraiment chez eux il y a peu: il faudrait ralentir le développement des systèmes d’intelligence artificielle les plus puissants. Le paradoxe saute aux yeux, puisque leurs entreprises participent elles-mêmes à cette accélération, au moment où la discussion sur des règles plus dures monte d’un cran.

ChatGPT Télécharger

Le signal reste fort. Dario Amodei appelle publiquement à « ralentir le rythme », et Sam Altman dit qu’OpenAI s’alignerait sur l’engagement d’Anthropic, à savoir faire évaluer ses modèles par des experts externes sur les questions de sécurité.

Ce qui frappe, c’est que cet avertissement vient précisément des acteurs qui poussent la machine. La question reste donc entière: assiste-t-on à un vrai changement de cap, ou à une façon de garder la main avant l’arrivée de règles plus contraignantes? Mieux vaut rester prudent.

La pression, elle, s’est nettement renforcée après plusieurs alertes venues de l’intérieur d’Anthropic. Le chercheur Jacob Coxon a quitté l’entreprise, estimant que le secteur ne développait pas de manière responsable des modèles susceptibles de présenter un risque existentiel.

Un autre scientifique d’Anthropic, Evan Hubinger, a écrit que cette technologie pourrait aller jusqu’à tuer l’humanité entière. Il chiffre ce risque à plus de 10 % sur la prochaine décennie. Dario Amodei, de son côté, a parlé de « conséquences dévastatrices » pouvant survenir en quelques mois, avec par exemple des agents autonomes hors de contrôle capables de s’implanter sur Internet. Le ton est franchement alarmiste, loin de l’optimisme commercial habituel de la Silicon Valley.

La proposition portée par Anthropic tient en trois points: donner à des évaluateurs indépendants un accès proche de celui des employés; obtenir des accords entre démocraties autour de standards communs de sécurité; puis mettre en place une coordination mondiale sur les questions de sûreté, y compris avec des régimes autoritaires comme la Chine.

Sur le papier, l’idée est simple: éviter qu’une entreprise, ou qu’un État, parte seul avec des systèmes devenus trop puissants. Sauf que cette vision bute tout de suite sur la réalité géopolitique.

Beaucoup de chercheurs restent sceptiques. David Krueger considère ces mesures comme « trop peu, trop tard » et réclame un moratoire international plus large. Stuart Russell, lui, défend une autre idée: avant de continuer cette escalade, il faut comprendre bien plus en profondeur les enjeux de sécurité.

Aux États-Unis, le cadre politique reste flou. Washington demeure engagé dans la compétition mondiale; plusieurs projets de loi ont déjà été affaiblis sous la pression des entreprises et de l’écosystème des start-up; et Mike Johnson, président de la Chambre des représentants, a indiqué sans détour que le Congrès ne prendra pas la tête sur ce sujet. En pratique, une grande part de la responsabilité retombe donc sur les sociétés privées.

Tout n’est pas figé pour autant. OpenAI assure avoir temporairement ralenti le développement de ses modèles les plus avancés afin de renforcer ses protocoles de sécurité, selon l’entreprise.

En Californie, de nouvelles lois prévues pour 2026 mettront en place des audits indépendants réalisés par des tiers ainsi qu’un registre public des auditeurs. Elles viennent après l’obligation adoptée en 2025, qui impose aux développeurs de pointe de publier leurs protocoles de sûreté et de signaler les incidents critiques. Reste que cette volonté de prudence se heurte de plein fouet à la compétition stratégique, surtout face à la Chine. Donald Trump a déjà minimisé les arguments en faveur d’un ralentissement, au nom de l’avantage technologique.

Et puis il n’y a pas que les scénarios catastrophe. Les effets sociaux, eux, sont déjà massifs: d’après le Fonds monétaire international, environ 60 % des emplois dans les économies avancées sont exposés à cette vague technologique. Autrement dit, même sans apocalypse, la vitesse du développement de l’IA est déjà une question de société majeure.

Suivez-moi sur Twitter: @pierrevitre

Donald Trump a balayé l’idée d’un ralentissement du développement de l’intelligence artificielle, à peine quelques jours après l’appel public de Dario Amodei, le patron d’Anthropic, qui demandait aux laboratoires les plus avancés de lever le pied volontairement.

ChatGPT Télécharger

Depuis Doonbeg, en Irlande, l’ancien président américain a expliqué, lors de déclarations publiques, que les États-Unis avaient de l’avance sur la Chine et qu’ils devaient absolument la garder dans un secteur qu’il juge décisif sur le plan géopolitique. Sa position tient en une phrase, très directe : « celui qui gagne avec l’intelligence artificielle gagne ».

Trump ne ferme pas complètement la porte à quelques garde-fous.

C’est déjà une bonne nouvelle, même si le cap qu’il défend reste clairement celui de l’accélération, pas celui du freinage.

Trump refuse de ralentir l’intelligence artificielle

Cette sortie arrive seulement quelques jours après un appel spectaculaire venu du cœur même de l’industrie américaine.

Dario Amodei, à la tête d’Anthropic, a demandé publiquement aux laboratoires les plus avancés de ralentir volontairement, d’accepter des évaluateurs indépendants avec accès à leurs systèmes internes, et même d’obtenir une dérogation antitrust pour permettre à des concurrents de coordonner leurs efforts en matière de sécurité.

Sam Altman, le directeur général d’OpenAI, a dit publiquement qu’OpenAI suivrait cette approche. Elon Musk, patron de xAI, s’est lui aussi déclaré publiquement en accord.

Autrement dit, les entreprises les plus engagées dans la course mondiale, Anthropic, OpenAI et xAI, défendent désormais, au moins sur la place publique, une trajectoire plus prudente.

Les inquiétudes sur la sécurité prennent de l’ampleur dans l’industrie

Le signal n’a rien d’isolé.

Le directeur scientifique d’OpenAI a récemment reconnu publiquement qu’aucun laboratoire n’avait encore réglé de façon satisfaisante le problème de l’alignement, autrement dit la capacité à garder sous contrôle fiable des systèmes toujours plus puissants.

En juillet, 1 134 employés de laboratoires ont signé une lettre appelant le gouvernement à mettre en place des mécanismes capables de ralentir le rythme si la situation l’exige.

Et ces inquiétudes n’ont pas surgi de nulle part. Elles ont été nourries par des incidents récents, mais aussi par plusieurs travaux de recherche franchement préoccupants.

Des tests ont fait état d’agents capables d’essayer d’infiltrer d’autres systèmes. En parallèle, plusieurs études montrent que des modèles avancés peuvent encore être contournés, débridés, puis poussés à produire des contenus dangereux.

Certains chercheurs vont plus loin et évoquent même des risques catastrophiques si ces systèmes devenaient incontrôlables.

À Washington, on parle de garde-fous, mais sans plan clair

À Washington, le débat reste largement ouvert.

Mike Johnson, président de la Chambre des représentants, a reconnu publiquement qu’il fallait « quelques garde-fous, quelques mesures de sécurité », tout en martelant qu’il fallait préserver l’avantage américain face à la Chine.

Il veut organiser une grande réunion avec les dirigeants du secteur.

Kevin Hassett, qui dirige le Conseil économique national, a expliqué publiquement que des responsables en charge des questions scientifiques et de cybersécurité devaient se réunir pour discuter de la suite, sans donner de calendrier.

Pour l’instant, aucun plan fédéral précis n’a été annoncé.

Mieux vaut donc rester prudent. On vous tiendra au courant.

Il y a d’ailleurs un paradoxe assez frappant. En mai, l’administration Trump a commencé à soutenir l’exportation de systèmes d’intelligence artificielle par l’intermédiaire de l’Export-Import Bank, en mobilisant, d’après des responsables américains, plus de 100 milliards de dollars de capacité de prêt jusque-là inutilisée. Cette stratégie profite aux mêmes groupes qui réclament aujourd’hui davantage de prudence.

Sur le plus long terme, le cadre réglementaire reste morcelé. L’Union européenne déploie progressivement son règlement sur l’intelligence artificielle. Les États-Unis, eux, n’ont toujours pas de grande loi fédérale unique. De nouvelles propositions apparaissent malgré tout, dont un texte qui viserait à suspendre les systèmes avancés jugés incontrôlables tant que des règles fédérales de sécurité n’auront pas été fixées.