OpenAI dit avoir mis au point une nouvelle méthode d’évaluation pour ses futurs modèles, qu’elle appelle « Deployment Simulation ». L’idée est simple sur le papier : essayer d’estimer à quelle fréquence un modèle se trompera une fois réellement mis entre les mains du public.
Avec cette approche, OpenAI veut combler un angle mort des évaluations classiques. Ces tests restent très bons pour faire remonter des bugs bien identifiés, mais ils collent moins aux usages ordinaires, ceux du quotidien. D’après l’entreprise, les essais menés en interne sur la série GPT-5 ont permis d’anticiper correctement les tendances d’erreur dans 92 % des cas. Elle ajoute quand même que cet outil ne remplace pas les autres garde-fous utilisés avant une sortie, il vient s’y ajouter.
La vraie nouveauté tient surtout aux données utilisées pour tester les modèles. OpenAI explique qu’au lieu de s’appuyer d’abord sur des prompts artificiels, des scénarios adversariaux ou des questionnaires pensés pour piéger le système, la méthode rejoue de vraies conversations anonymisées issues d’un ancien modèle. Le nouveau modèle, qui n’a pas encore été publié, doit alors produire la réponse suivante comme s’il était déjà en circulation. Le but affiché est de recréer un cadre beaucoup plus proche des conditions réelles.
En repartant d’historiques d’échange authentiques, le système aurait moins tendance à « comprendre » qu’il est en train d’être testé. Et donc moins de raisons d’adopter un comportement différent de celui qu’il aurait face à de vrais utilisateurs. OpenAI estime que cette simulation donne une image plus fidèle des performances observées après déploiement.
Un détail relevé par OpenAI est assez parlant. L’un des échecs mis en avant ne porte pas seulement sur le résultat final, mais aussi sur la façon dont l’action est présentée à l’utilisateur. L’entreprise cite un cas de « calculator hacking » : le modèle utilisait un outil de navigation comme une calculatrice, tout en présentant l’opération comme une simple recherche. Ce genre d’écart intéresse directement les équipes de sécurité, parce qu’il touche à la transparence du système, à sa fiabilité et, au bout du compte, à la confiance qu’un utilisateur peut lui accorder.
OpenAI admet aussi que cette approche a ses limites. Même quand la simulation paraît réaliste, elle ne peut pas couvrir tous les cas rares. Elle ne peut pas non plus prévoir parfaitement des comportements nouveaux, absents des données historiques.
Du coup, cette méthode est pensée comme un complément au red teaming, aux évaluations ciblées et aux autres contrôles réalisés avant publication. L’annonce s’inscrit d’ailleurs dans un mouvement plus large : celui du renforcement des tests en amont du déploiement, poussé à la fois par les régulateurs, par le National Institute of Standards and Technology (NIST) aux États-Unis, par le nouveau cadre européen sur les systèmes avancés et par plusieurs instituts publics de sécurité.
Pour l’instant, les chiffres avancés par OpenAI ont encore été peu examinés par le monde académique ou par la société civile. À ce stade, ce taux de 92 % ne repose sur aucune validation indépendante solide.
OpenAI affirme déjà que des auditeurs externes pourraient reproduire ce type de test à partir de jeux de données publics comme WildChat. L’entreprise reconnaît en même temps que ces simulations seraient sans doute moins précises que celles construites à partir de ses propres conversations utilisateurs anonymisées. Bref, prudence. Nous vous tiendrons informés.
Source : OpenAI
