OpenAI aseguró hoy que su modelo GPT-5.6 Sol puede quedar por encima de Opus 5, de Anthropic, en ARC-AGI-3, una de las pruebas de razonamiento que más atención arrastra ahora mismo en el sector.
El punto conflictivo es otro. Ese resultado, según la propia explicación de OpenAI, no salió del entorno oficial y neutral del test, sino de una evaluación rehecha con ajustes extra disponibles en su propia API. En la configuración estándar, la que figura en los resultados publicados del benchmark, la foto cambia bastante: GPT-5.6 Sol se quedó en un 7,8%, mientras que Opus 5 llegó al 30,2%, una cifra presentada como récord bajo esas mismas condiciones.
La respuesta de OpenAI fue volver a pasar la prueba usando su Responses API. Con ese método, siempre según la compañía, GPT-5.6 Sol sube hasta el 38,3% y supera así el 30,2% de Opus 5.
Pero esa lectura viene con letra pequeña, y no es menor: no hablamos de una puntuación obtenida dentro del entorno oficial del benchmark.
Ahí empieza la discusión de verdad. OpenAI sostiene que la configuración estándar perjudica a GPT-5.6 Sol porque borra el razonamiento entre turnos, algo que la empresa ha descrito como una especie de “amnesia”. Si el sistema pierde ese hilo, su rendimiento cae en tareas que dependen de varios pasos.
Ese 38,3%, según OpenAI, se apoyó en dos funciones concretas, “Retained Reasoning” y “Compaction”. La primera permite conservar el razonamiento entre pasos. La segunda resume el contexto anterior para que no se pierda del todo cuando la conversación se alarga.
Sobre el papel, no sería un truco diseñado a medida para ARC-AGI-3, sino opciones generales que, dice OpenAI, cualquier cliente podría activar. Aun así, usarlas cambia bastante la comparación con otros proveedores si esos proveedores no tienen exactamente la misma interfaz, o si el benchmark no contempla esas funciones por defecto.
ARC Prize dejó caer además otro matiz que no es menor: el entorno neutral podría haber utilizado una versión antigua de la API. Si fue así, GPT-5.6 Sol habría competido con desventaja frente a Opus 5.
François Chollet, creador de ARC, respondió que las configuraciones personalizadas para un benchmark concreto no están permitidas. A la vez, dejó abierta otra idea: ajustes de propósito general, disponibles para usuarios reales, podrían aceptarse siempre que se expliquen con total claridad.
ARC-AGI-3 intenta medir “inteligencia fluida” con desafíos nuevos, más cercanos a pequeños juegos de lógica y sin instrucciones previas. En una prueba así, la forma en que cada sistema maneja la memoria, el contexto y los pasos intermedios puede mover mucho el resultado final.
De momento, ese 38,3% sigue siendo un dato comunicado por la propia OpenAI sobre el conjunto público de ARC-AGI-3. El siguiente paso, el que de verdad despejaría dudas, sería una réplica independiente sobre el conjunto privado usando esos mismos ajustes de API.
Y, por debajo del cruce entre OpenAI y Anthropic, vuelve la pregunta de siempre en este sector: hasta qué punto una tabla pública refleja el rendimiento que luego ve un cliente en condiciones reales. No está claro si esa verificación independiente llegará pronto.
