Co-Design Bench mesure la capacité d’agents de code à modifier des applications web déjà existantes. Ce que montrent ses résultats est assez net: les outils avancent vite, mais on est encore loin d’un scénario où ils reprennent seuls une application en production, y apportent des changements, et le font sans casse. Dix modèles ont été testés sur des demandes proches de celles que reçoivent les équipes produit tous les jours. Le meilleur du lot, GPT-6 Astra, ne mène correctement à bien que 26,4 % des tâches. Et pourtant, sur chaque tâche, il remplit en moyenne 69,9 % des exigences. Autrement dit, il fait souvent une bonne partie du travail, mais laisse encore assez de défauts pour qu’une intervention humaine reste nécessaire dans près de trois cas sur quatre.
Le benchmark, d’après ses auteurs, a été conçu par Alibaba avec plusieurs universités asiatiques. Le point de départ n’a rien de théorique: 37.463 demandes réelles d’utilisateurs, déjà connues pour mettre ce type d’outils en difficulté. Dans la version publiée, l’ensemble a été resserré à 273 tâches. Elles ont toutes un point commun: il ne s’agit pas de générer du code à partir de zéro, mais de modifier des applications web qui existent déjà.
Et ça change beaucoup de choses.
Dans la pratique, les développeurs passent souvent plus de temps à corriger, prolonger ou remettre d’équerre un produit déjà en production qu’à démarrer depuis une page blanche. La description de Co-Design Bench donne des exemples assez parlants: extraire des valeurs depuis des reçus, des tableaux ou d’autres documents, puis propager correctement ces changements dans toutes les vues concernées.
L’écart entre 69,9 % d’exigences satisfaites et 26,4 % de tâches complètement réussies résume assez bien le vrai problème. Ces agents savent fréquemment produire une grande partie de la fonctionnalité attendue. Mais il manque encore quelque chose: un comportement oublié, une interaction cassée, un écran qui ne colle plus au reste, ou une gestion incomplète des cas possibles.
Les auteurs expliquent aussi que l’évaluation a été pensée pour éviter les démonstrations qui impressionnent au premier regard mais ne tiennent pas vraiment. Un premier évaluateur automatique teste l’application finie dans un navigateur. Puis un second repasse sur les cas validés pour traquer les faux positifs, par exemple des sorties codées en dur ou des maquettes qui ont l’air de fonctionner sans fonctionner réellement. Les points ne sont accordés qu’aux fonctions qui marchent pour de bon.
Ils avancent par ailleurs qu’une partie des benchmarks plus anciens ne distingue plus très bien les modèles récents. Sur certains tests agentiques, disent-ils, les scores dépassent désormais souvent 99 % lorsque les outils peuvent exécuter le code, lancer des tests, puis corriger leurs erreurs en boucle.
Co-Design Bench veut justement être plus dur. Ses auteurs estiment qu’il laisse apparaître plus de 35 points d’écart avec des références plus anciennes comme WebCompass-edit. Et la difficulté monte encore d’un cran lorsqu’une tâche combine plusieurs types de changements dans le même mouvement: mise en page, design, interactions, contenu. C’est précisément ce qu’on rencontre dans un vrai projet logiciel.
Le résultat ne sort pas de nulle part. Il s’inscrit dans une tendance plus large. D’autres évaluations menées dans des conditions réalistes restent elles aussi loin d’une autonomie totale: GPT-4o a obtenu 30,7 % sur SWE-bench Verified, GPT-4.1 54,6 %, et Qwen3-Coder 67,4 %, d’après les chiffres repris par les auteurs de Co-Design Bench.
Pour les entreprises, le message est assez simple: ces outils peuvent faire gagner du temps sur une partie du travail, surtout quand les modifications sont bien cadrées, mais ils ne dispensent toujours pas d’une relecture humaine. Mieux vaut garder la tête froide. Les limites reviennent souvent aux mêmes points: comprendre l’architecture d’un produit, déboguer dans des bases de code complexes, et rester fiable sur les sujets sensibles, en particulier la sécurité.
