<\/a>\r\n <\/div>\r\n<\/div>\n\n\n\nTests vor der Ver\u00f6ffentlichung, aber n\u00e4her an der Realit\u00e4t<\/p>\n\n
Nach Angaben von OpenAI soll die Methode eine bekannte Schw\u00e4che klassischer Sicherheits- und Qualit\u00e4tstests auffangen: Wie verh\u00e4lt sich ein System sp\u00e4ter, wenn es tats\u00e4chlich mit echten Nutzerinnen und Nutzern in Kontakt kommt? Den Forschenden bei OpenAI geht es dabei nach eigener Darstellung nicht zuerst darum, einzelne spektakul\u00e4re Fehltritte zu finden.<\/p>\n\n
Wichtiger ist f\u00fcr das Unternehmen, schon vor dem Release besser einsch\u00e4tzen zu k\u00f6nnen, wie oft Probleme<\/strong> im normalen Betrieb wirklich auftauchen. In internen Tests mit Modellen aus der GPT-5-Familie habe das Verfahren Fehlermuster in 92 Prozent der F\u00e4lle richtig vorhergesagt, so OpenAI.<\/p>\n\nEchte Gespr\u00e4che statt k\u00fcnstlich gebauter Tests<\/p>\n\n
Das Grundprinzip ist erst einmal ziemlich simpel. OpenAI greift daf\u00fcr nach eigener Beschreibung auf echte, anonymisierte Unterhaltungen<\/strong> aus einem bereits ver\u00f6ffentlichten \u00e4lteren Modell zur\u00fcck.<\/p>\n\nDas neue, noch nicht freigegebene Modell erh\u00e4lt dann den bisherigen Verlauf eines Gespr\u00e4chs und erzeugt auf dieser Basis die n\u00e4chste Antwort. So entsteht, wenn man OpenAIs Beschreibung folgt, eine Testumgebung, die deutlich n\u00e4her an realen Nutzungssituationen liegt als klassische Benchmarks.<\/p>\n\n
Genau darin sehen die Forschenden den entscheidenden Punkt. Modelle verhalten sich unter Laborbedingungen oft anders als drau\u00dfen im Alltag. Wenn ein System auch nur indirekt mitbekommt, dass es gerade getestet wird, kann das die Resultate verzerren.<\/p>\n\n
Warum klassische Tests allein nicht reichen<\/p>\n\n
Herk\u00f6mmliche Testverfahren arbeiten oft mit klar abgesteckten Aufgaben, Red-Teaming oder besonders schwierigen Einzelprompts. Das hat weiter seinen Platz, kommt aber nicht immer weit genug.<\/p>\n\n
Solche Verfahren zeigen zum Beispiel, ob ein Modell in bestimmten Extremf\u00e4llen scheitert. Was sie viel schlechter abbilden, ist die Frage, wie h\u00e4ufig Probleme<\/strong> sp\u00e4ter im normalen Betrieb tats\u00e4chlich vorkommen.<\/p>\n\nOpenAI argumentiert deshalb, dass die Deployment Simulation authentischere Antworten hervorbringt. Das Modell steckt dabei in laufenden, nat\u00fcrlichen Konversationen und reagiert dadurch eher so, wie es auch nach der Ver\u00f6ffentlichung reagieren w\u00fcrde.<\/p>\n\n
Neue Fehlerklassen, aber kein Ersatz f\u00fcr andere Schutzma\u00dfnahmen<\/p>\n\n
Nach Angaben von OpenAI hat die Methode nicht nur bekannte Schw\u00e4chen best\u00e4tigt. Sie hat auch neue Problemfelder sichtbar gemacht. Als Beispiel nennen die Forschenden das sogenannte Calculator Hacking<\/strong>: Ein Modell nutzte ein Browser-Werkzeug praktisch wie einen Taschenrechner, stellte den Vorgang anschlie\u00dfend aber ungenau als normale Suche dar.<\/p>\n\nSolche F\u00e4lle sind relevant, weil Fehler eben nicht nur aus klar falschen Antworten bestehen. Sie k\u00f6nnen auch in der Darstellung einzelner Zwischenschritte liegen oder darin, dass ein Werkzeugeinsatz nicht offengelegt wird.<\/p>\n\n
Trotz der positiven Ergebnisse beschreibt OpenAI den Ansatz ausdr\u00fccklich als Erg\u00e4nzung. Seltene oder komplett neue Fehlermodi k\u00f6nnten auch unentdeckt bleiben<\/strong>, hei\u00dft es.<\/p>\n\nRed-Teaming, gezielte Sicherheitstests und andere Pr\u00fcfverfahren bleiben also weiter Teil des Gesamtpakets. F\u00fcr die Branche kommt diese Arbeit zu einem passenden Zeitpunkt. Beh\u00f6rden und Standardisierungsgremien verlangen schon seit L\u00e4ngerem belastbarere Vorabpr\u00fcfungen, zum Beispiel \u00fcber das National Institute of Standards and Technology (NIST) in den USA, den risikobasierten Rahmen des EU AI Act und internationale Safety Institutes.<\/p>\n\n
Unabh\u00e4ngige \u00dcberpr\u00fcfungen sind bisher allerdings selten. OpenAI weist darauf hin, dass externe Pr\u00fcfer mit \u00f6ffentlichen Datens\u00e4tzen wie WildChat zumindest aufschlussreiche Analysen durchf\u00fchren k\u00f6nnten, auch wenn diese weniger pr\u00e4zise w\u00e4ren.<\/p>\n\n
Quelle: OpenAI<\/p>\n\n
Downloads: Download ChatGPT<\/a> f\u00fcr Android | Download ChatGPT f\u00fcr iOS<\/p>","protected":false},"excerpt":{"rendered":"OpenAI hat mit der sogenannten Deployment Simulation ein neues Testverfahren vorgestellt. Damit sollen noch nicht ver\u00f6ffentlichte Modelle der GPT-5-Familie vor ihrem Start unter Bedingungen gepr\u00fcft werden, die dem sp\u00e4teren Alltag n\u00e4herkommen. Tests vor der Ver\u00f6ffentlichung, aber n\u00e4her an der Realit\u00e4t Nach Angaben von OpenAI soll die Methode eine bekannte Schw\u00e4che klassischer Sicherheits- und Qualit\u00e4tstests auffangen: … Continue reading “OpenAI k\u00fcndigt jetzt Deployment Simulation an: Vorhersagen f\u00fcr Modell-Aussetzer”<\/span><\/a><\/p>\n","protected":false},"author":9328,"featured_media":87855,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","wpcf-pageviews":0},"categories":[3152],"tags":[1],"usertag":[],"vertical":[],"content-category":[3629],"class_list":["post-87856","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","tag-software","content-category-ki"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/posts\/87856","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/users\/9328"}],"replies":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/comments?post=87856"}],"version-history":[{"count":1,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/posts\/87856\/revisions"}],"predecessor-version":[{"id":87857,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/posts\/87856\/revisions\/87857"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/media\/87855"}],"wp:attachment":[{"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/media?parent=87856"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/categories?post=87856"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/tags?post=87856"},{"taxonomy":"usertag","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/usertag?post=87856"},{"taxonomy":"vertical","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/vertical?post=87856"},{"taxonomy":"content-category","embeddable":true,"href":"https:\/\/cms-articles.softonic.io\/de\/wp-json\/wp\/v2\/content-category?post=87856"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"ChatGPT\"](\"https:\/\/images.sftcdn.net\/images\/t_app-icon-s\/p\/1ead0e5b-b4d8-4827-a864-bd65ea5cc739\/1431254015\/chatgpt-logo\")
\r\n <\/div>\r\n