Avec cette approche, OpenAI veut combler un angle mort des \u00e9valuations classiques. Ces tests restent tr\u00e8s bons pour faire remonter des bugs bien identifi\u00e9s, mais ils collent moins aux usages ordinaires, ceux du quotidien. D\u2019apr\u00e8s l\u2019entreprise, les essais men\u00e9s en interne sur la s\u00e9rie GPT-5 ont permis d\u2019anticiper correctement les tendances d\u2019erreur dans 92 %<\/strong> des cas. Elle ajoute quand m\u00eame que cet outil ne remplace pas les autres garde-fous utilis\u00e9s avant une sortie, il vient s\u2019y ajouter.<\/p>\n\n La vraie nouveaut\u00e9 tient surtout aux donn\u00e9es utilis\u00e9es pour tester les mod\u00e8les. OpenAI explique qu\u2019au lieu de s\u2019appuyer d\u2019abord sur des prompts artificiels, des sc\u00e9narios adversariaux ou des questionnaires pens\u00e9s pour pi\u00e9ger le syst\u00e8me, la m\u00e9thode rejoue de vraies conversations anonymis\u00e9es issues d\u2019un ancien mod\u00e8le. Le nouveau mod\u00e8le, qui n\u2019a pas encore \u00e9t\u00e9 publi\u00e9, doit alors produire la r\u00e9ponse suivante comme s\u2019il \u00e9tait d\u00e9j\u00e0 en circulation. Le but affich\u00e9 est de recr\u00e9er un cadre beaucoup plus proche des conditions r\u00e9elles.<\/p>\n\n En repartant d\u2019historiques d\u2019\u00e9change authentiques, le syst\u00e8me aurait moins tendance \u00e0 \u00ab comprendre \u00bb qu\u2019il est en train d\u2019\u00eatre test\u00e9. Et donc moins de raisons d\u2019adopter un comportement diff\u00e9rent de celui qu\u2019il aurait face \u00e0 de vrais utilisateurs. OpenAI estime que cette simulation donne une image plus fid\u00e8le des performances observ\u00e9es apr\u00e8s d\u00e9ploiement.<\/p>\n\n Un d\u00e9tail relev\u00e9 par OpenAI est assez parlant. L\u2019un des \u00e9checs mis en avant ne porte pas seulement sur le r\u00e9sultat final, mais aussi sur la fa\u00e7on dont l\u2019action est pr\u00e9sent\u00e9e \u00e0 l\u2019utilisateur. L\u2019entreprise cite un cas de \u00ab calculator hacking \u00bb<\/strong> : le mod\u00e8le utilisait un outil de navigation comme une calculatrice, tout en pr\u00e9sentant l\u2019op\u00e9ration comme une simple recherche. Ce genre d\u2019\u00e9cart int\u00e9resse directement les \u00e9quipes de s\u00e9curit\u00e9, parce qu\u2019il touche \u00e0 la transparence du syst\u00e8me, \u00e0 sa fiabilit\u00e9 et, au bout du compte, \u00e0 la confiance qu\u2019un utilisateur peut lui accorder.<\/p>\n\n OpenAI admet aussi que cette approche a ses limites. M\u00eame quand la simulation para\u00eet r\u00e9aliste, elle ne peut pas couvrir tous les cas rares<\/strong>. Elle ne peut pas non plus pr\u00e9voir parfaitement des comportements nouveaux, absents des donn\u00e9es historiques.<\/p>\n\n Du coup, cette m\u00e9thode est pens\u00e9e comme un compl\u00e9ment au red teaming, aux \u00e9valuations cibl\u00e9es et aux autres contr\u00f4les r\u00e9alis\u00e9s avant publication. L\u2019annonce s\u2019inscrit d\u2019ailleurs dans un mouvement plus large : celui du renforcement des tests en amont du d\u00e9ploiement, pouss\u00e9 \u00e0 la fois par les r\u00e9gulateurs, par le National Institute of Standards and Technology (NIST) aux \u00c9tats-Unis, par le nouveau cadre europ\u00e9en sur les syst\u00e8mes avanc\u00e9s et par plusieurs instituts publics de s\u00e9curit\u00e9.<\/p>\n\n Pour l\u2019instant, les chiffres avanc\u00e9s par OpenAI ont encore \u00e9t\u00e9 peu examin\u00e9s par le monde acad\u00e9mique ou par la soci\u00e9t\u00e9 civile. \u00c0 ce stade, ce taux de 92 %<\/strong> ne repose sur aucune validation ind\u00e9pendante solide.<\/p>\n\n OpenAI affirme d\u00e9j\u00e0 que des auditeurs externes pourraient reproduire ce type de test \u00e0 partir de jeux de donn\u00e9es publics comme WildChat. L\u2019entreprise reconna\u00eet en m\u00eame temps que ces simulations seraient sans doute moins pr\u00e9cises que celles construites \u00e0 partir de ses propres conversations utilisateurs anonymis\u00e9es. Bref, prudence. Nous vous tiendrons inform\u00e9s.<\/p>\n\n Source : OpenAI<\/p>","protected":false},"excerpt":{"rendered":" OpenAI dit avoir mis au point une nouvelle m\u00e9thode d\u2019\u00e9valuation pour ses futurs mod\u00e8les, qu\u2019elle appelle \u00ab Deployment Simulation \u00bb. L\u2019id\u00e9e est simple sur le papier : essayer d\u2019estimer \u00e0 quelle fr\u00e9quence un mod\u00e8le se trompera une fois r\u00e9ellement mis entre les mains du public. Avec cette approche, OpenAI veut combler un angle mort des … Continue reading “OpenAI d\u00e9voile sa nouvelle m\u00e9thode : anticiper les erreurs de ses futurs mod\u00e8les”<\/span><\/a><\/p>\n","protected":false},"author":9328,"featured_media":195846,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","wpcf-pageviews":0},"categories":[16761],"tags":[],"usertag":[],"vertical":[],"content-category":[17507],"class_list":["post-195847","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","content-category-ia"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts\/195847","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/users\/9328"}],"replies":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/comments?post=195847"}],"version-history":[{"count":1,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts\/195847\/revisions"}],"predecessor-version":[{"id":195848,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/posts\/195847\/revisions\/195848"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/media\/195846"}],"wp:attachment":[{"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/media?parent=195847"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/categories?post=195847"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/tags?post=195847"},{"taxonomy":"usertag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/usertag?post=195847"},{"taxonomy":"vertical","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/vertical?post=195847"},{"taxonomy":"content-category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/fr\/wp-json\/wp\/v2\/content-category?post=195847"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}