Alibaba y varias universidades acaban de presentar Co-Design Bench, un nuevo benchmark para poner a prueba agentes de programación que, a la vista de sus resultados, deja una cifra bastante clara: solo resolvió por completo el 26,4% de las tareas.
La lectura que hacen sus autores va en la misma dirección. Co-Design Bench apunta a que los agentes de programación todavía están lejos de poder asumir por su cuenta tareas reales de desarrollo.
La prueba se centra en modificar aplicaciones web ya existentes. Ahí, el sistema con mejor resultado, GPT-6 Astra, solo cerró de principio a fin el 26,4% de los trabajos, siempre según los datos de Co-Design Bench.
La cifra llama la atención por otra razón: ese mismo modelo sí cumplió, de media, el 69,9% de los requisitos de cada tarea. Es decir, muchas veces deja el trabajo muy avanzado, casi listo, pero no lo bastante como para prescindir de una revisión final y de la limpieza manual.
Dicho de forma más llana, en casi tres de cada cuatro casos todavía hace falta intervención humana.
El benchmark se construyó, cuentan sus autores, a partir de 37.463 solicitudes reales de cambios enviadas por usuarios y que ya habían demostrado ser complicadas para esta clase de agentes.
La versión pública de Co-Design Bench reúne 273 tareas, todas centradas en modificar apps web existentes, no en levantar pequeños proyectos desde cero.
Y eso cambia bastante el tipo de examen, porque varios tests anteriores ya se habían quedado demasiado fáciles.
Los investigadores señalan que algunos modelos ya pasan del 99% en ciertos benchmarks de programación con agentes. Cuando ocurre eso, distinguir diferencias de capacidad empieza a ser cada vez más difícil. Co-Design Bench nace justo para cubrir ese hueco y, por lo que muestran sus resultados, abre una distancia de más de 35 puntos porcentuales frente a esas pruebas más gastadas.
El estudio también deja ver un patrón muy reconocible: los modelos suelen completar buena parte de la tarea, pero tropiezan en uno o varios detalles que acaban rompiendo el resultado final.
Y en desarrollo de software, justo ahí es donde empieza el trabajo pesado: revisar, depurar, corregir.
La dificultad sube todavía más cuando un mismo encargo mezcla cambios de diseño, maquetación, interacción y contenido. Ese cruce es normal en proyectos reales y, según el estudio, fue el terreno en el que todos los modelos evaluados rindieron peor.
Co-Design Bench suma además tareas multimodales, bastante más cercanas a lo que pasa en el uso diario de una app moderna.
Algunas obligan a trabajar con imágenes, audio, vídeo o documentos para modificar una aplicación ya existente. Un ejemplo que cita el benchmark: extraer importes de un recibo y actualizar de manera coherente los totales y las vistas relacionadas dentro de la propia app.
La corrección, además, está hecha para no dejar pasar trampas.
Primero, un evaluador automatizado prueba la app terminada dentro de un navegador. Después, un segundo evaluador vuelve sobre los resultados positivos para detectar maquetas, atajos o salidas programadas a mano. Solo cuentan las funciones que de verdad funcionan.
Los resultados encajan con otras señales que ya venía dejando el sector.
En SWE-bench Verified, GPT-4o obtuvo un 30,7%, GPT-4.1 llegó al 54,6% y Qwen3-Coder alcanzó, según los resultados publicados por SWE-bench Verified y por sus propios desarrolladores, el 67,4%.
Visto en conjunto, estos sistemas ya pueden acelerar bastante el trabajo y recortar tiempo en tareas parciales, pero todavía no son sustitutos fiables si se les quiere dejar solos con proyectos de programación reales, de principio a fin.
Cuándo llegará esa autonomía total, por ahora, nadie lo sabe.
Author: Jesús Pina
{
"social": {
"email": "",
"facebook": "",
"twitter": "",
"linkedin": ""
},
"ja-JP": "",
"de-DE": "Jesús Pina verfolgt, was künstliche Intelligenz an der Software wirklich verändert, die wir täglich benutzen — und trennt dabei, was schon funktioniert, von dem, was bisher nur eine Ankündigung ist. Ihn interessiert die praktische Wirkung: welches Werkzeug echte Zeit spart, welches auf halbem Weg stehen bleibt und welches man sich vor der Installation zweimal ansehen sollte. Er arbeitet täglich mit KI-Modellen mitten im redaktionellen Prozess von Softonic und kennt deren Grenzen deshalb recht genau.",
"en-US": "Jesús Pina follows what artificial intelligence is actually changing in the software people use every day, telling apart what already works from what is still only an announcement. What interests him is the practical effect: which tool saves real time, which one stops halfway and which one deserves a second look before you install it. He works daily with AI models inside Softonic's own editorial process, so he knows their limits fairly well.",
"es-ES": "Jesús Pina sigue lo que la inteligencia artificial está cambiando de verdad en el software que usamos cada día, separando lo que ya funciona de lo que por ahora solo es un anuncio. Le interesa el efecto práctico: qué herramienta ahorra tiempo real, cuál se queda a medias y cuál conviene mirar dos veces antes de instalarla. Trabaja a diario con modelos de IA dentro del propio proceso editorial de Softonic, así que conoce bastante bien sus límites.",
"fr-FR": "Jesús Pina suit ce que l'intelligence artificielle change réellement dans les logiciels du quotidien, en distinguant ce qui fonctionne déjà de ce qui n'est encore qu'une annonce. Ce qui l'intéresse, c'est l'effet pratique : quel outil fait gagner du temps, lequel s'arrête à mi-chemin et lequel mérite un second examen avant installation. Il travaille au quotidien avec des modèles d'IA au cœur du processus éditorial de Softonic, et connaît donc assez bien leurs limites.",
"it-IT": "Jesús Pina segue ciò che l'intelligenza artificiale sta davvero cambiando nel software di ogni giorno, distinguendo quello che già funziona da quello che per ora è solo un annuncio. Gli interessa l'effetto pratico: quale strumento fa risparmiare tempo, quale si ferma a metà e quale conviene guardare due volte prima di installarlo. Lavora ogni giorno con modelli di IA dentro il processo editoriale di Softonic, e per questo ne conosce bene i limiti.",
"nl-NL": "Jesús Pina volgt wat kunstmatige intelligentie echt verandert aan de software die we dagelijks gebruiken, en scheidt daarbij wat al werkt van wat nog slechts een aankondiging is. Wat hem interesseert is het praktische effect: welke tool echt tijd bespaart, welke halverwege blijft steken en welke je beter twee keer bekijkt voordat je hem installeert. Hij werkt dagelijks met AI-modellen binnen het redactieproces van Softonic en kent daardoor hun grenzen vrij goed.",
"pl-PL": "Jesús Pina śledzi to, co sztuczna inteligencja rzeczywiście zmienia w programach używanych codziennie, oddzielając rozwiązania, które już działają, od tych, które są na razie tylko zapowiedzią. Interesuje go efekt praktyczny: które narzędzie naprawdę oszczędza czas, które zatrzymuje się w połowie drogi, a które warto sprawdzić dwa razy przed instalacją. Codziennie pracuje z modelami AI wewnątrz procesu redakcyjnego Softonica, więc dobrze zna ich ograniczenia.",
"pt-BR": "Jesús Pina acompanha o que a inteligência artificial está realmente mudando nos programas que usamos todos os dias, separando o que já funciona do que ainda é apenas anúncio. O que lhe interessa é o efeito prático: qual ferramenta economiza tempo de verdade, qual para no meio do caminho e qual merece uma segunda olhada antes de instalar. Trabalha diariamente com modelos de IA dentro do próprio processo editorial da Softonic, e por isso conhece bem seus limites."
}
View all posts by Jesús Pina
