Dans une étude publiée ce jour, 1Password estime que les outils de génération de code produisent encore bien trop souvent des correctifs de sécurité incomplets.
Off-by-1 Labs, l’équipe de recherche de 1Password, dit avoir observé des « Fix-Like Artifacts with Embedded Defects » dans 53,9 % des cas testés. Autrement dit, des patchs qui ont l’apparence de vrais correctifs, mais qui laissent malgré tout des défauts exploitables en place.
Dans son évaluation, Off-by-1 Labs a fait générer 6 080 correctifs par ChatGPT-5.5 et Claude Opus 4.8 à partir de six CVE récentes. Au bout du compte, toujours selon 1Password, 26 % seulement des patchs corrigeaient entièrement la vulnérabilité sans changer le comportement de l’application.
Le reste inspire beaucoup moins confiance. D’après les résultats d’Off-by-1 Labs, 49,3 % des correctifs laissaient encore au moins un chemin d’attaque exploitable. Dans 20,1 % des cas, le problème initial était bien réglé, mais au prix d’un changement de comportement de l’application, ce qui représente un vrai risque en production. Plus gênant encore, 2,3 % des patchs corrigeaient la faille d’origine tout en introduisant une nouvelle vulnérabilité. Et 2,2 % cumulaient les deux défauts : la remédiation échouait, et une nouvelle faiblesse de sécurité apparaissait en plus.
Autre point relevé par 1Password : un correctif qui passe les tests n’est pas forcément un bon correctif. Plus d’un tiers des patchs qui donnaient l’impression de fonctionner au premier regard ont ainsi été rangés dans la catégorie des correctifs « fragiles ».
La raison est simple, disent les chercheurs d’Off-by-1 Labs. Ces patchs bloquaient seulement la preuve de concept utilisée pendant les essais, sans corriger la cause profonde du bug. En clair, le code empêchait une démonstration bien précise de l’attaque, mais ne supprimait pas vraiment le problème sous-jacent. Pour des équipes de sécurité déjà sous tension, ce genre de résultat peut créer un sentiment de sécurité trompeur, donc dangereux.
Les chercheurs ajoutent que ces outils savent souvent produire un code syntaxiquement correct, tout en ratant des éléments décisifs : l’intention architecturale, les contraintes métier, les implications de sécurité, ou encore la maintenabilité sur le long terme.
C’est là que la limite apparaît. Sur des correctifs sensibles, ce manque de contexte pèse lourd. Un patch de sécurité, ce n’est pas seulement faire disparaître une erreur dans un test. Il faut aussi préserver la logique du produit, éviter les régressions, et s’assurer que le correctif reste viable dans le temps.
Chez 1Password, la position qui se dégage est nette : les correctifs générés automatiquement, surtout lorsqu’ils touchent à du code critique, doivent encore passer entre les mains d’ingénieurs expérimentés. L’automatisation peut servir à repérer des vulnérabilabilités, suggérer des pistes de correction ou accélérer le tri. En revanche, déléguer aveuglément la validation finale reste hors de question.
Ces résultats s’ajoutent à une inquiétude plus large sur la qualité du code généré automatiquement. D’autres travaux cités par 1Password avancent qu’une part importante de ce code peut embarquer des défauts de sécurité, parfois autour de 45 %, alors même que le rythme de développement dépasse de plus en plus la capacité des équipes à tout auditer. Mieux vaut donc garder la tête froide. À ce stade, l’industrie semble se diriger vers un modèle hybride : la machine pour assister, l’humain pour trancher.
