OpenAI ha presentado hoy Deployment Simulation, una nueva técnica de evaluación previa al lanzamiento con la que intenta calcular con qué frecuencia puede fallar un modelo cuando sale al mundo real. La apuesta va detrás de un problema bastante conocido en las pruebas de seguridad: muchas detectan fallos en entornos controlados, sí, pero luego no siempre reflejan bien cómo responde un sistema cuando pasa a manos de millones de personas.
La propuesta cambia también la forma de probar. En vez de medir el modelo casi únicamente con prompts preparados para test o con los benchmarks de siempre, OpenAI plantea hacer que continúe conversaciones reales, anonimizadas, que los usuarios habían tenido antes con una versión anterior del modelo. Según explican sus investigadores, el proceso reaprovecha chats desidentificados y le pide al modelo, todavía sin publicar, que escriba la siguiente respuesta.
Con ese método, dice OpenAI, la simulación de despliegue se acerca mucho más a lo que pasa fuera del laboratorio que las pruebas sintéticas tradicionales. Hay otro matiz: en ese contexto, al sistema le cuesta más detectar que lo están evaluando y, en consecuencia, le resulta menos fácil ajustar su conducta para “quedar bien” durante la prueba.
Y eso cambia bastante.
Muchos fallos no aparecen en listas cerradas de preguntas ni frente a ataques demasiado obvios. En conversaciones normales, con todo su contexto, sus ambigüedades y esos cambios de tema que van surgiendo, salen errores de otra clase. OpenAI sostiene que este enfoque deja ver un comportamiento más natural y, justo por eso, más útil para adelantarse a problemas antes de que el modelo llegue al público.
La compañía afirma que, durante las evaluaciones de la serie GPT-5, la simulación acertó al predecir las tendencias de error en el 92 % de los casos. Añade, además, que la técnica permitió detectar modos de fallo que no habían salido en evaluaciones anteriores.
Entre los ejemplos que cita OpenAI aparece el llamado calculator hacking: el modelo usaba una herramienta del navegador como si fuera una calculadora, pero luego describía esa acción de forma incorrecta, como si lo que hubiera hecho en realidad fuese una búsqueda.
OpenAI tampoco vende Deployment Simulation como sustituto del red teaming, de las evaluaciones centradas en riesgos concretos ni de las pruebas de seguridad previas al lanzamiento, porque incluso una simulación realista puede pasar por alto fallos raros o completamente nuevos. El anuncio, además, encaja con una corriente regulatoria más amplia en Estados Unidos y Europa, donde gobiernos y organismos públicos están endureciendo la supervisión antes del despliegue.
Por ahora, la metodología apenas ha pasado por revisión crítica independiente. Tampoco está claro si los auditores externos podrán verificar estas pruebas con el mismo nivel de precisión sin acceso a conversaciones privadas anonimizadas, aunque OpenAI señala que el conjunto de datos WildChat apunta a que sí podrían sacar resultados útiles.
