AI Now Institute ha presentado hoy Friendly Fire, una prueba de concepto con la que lanza una advertencia clara: los agentes automatizados que muchas empresas ya ponen a revisar código, localizar fallos y reforzar la seguridad también pueden convertirse en una nueva vía de entrada para los atacantes.
El informe de AI Now Institute plantea que no estamos ante un error aislado, sino ante una debilidad de diseño presente en varios agentes de seguridad actuales.
Según explican sus investigadores, estos sistemas pueden leer contenido externo no fiable y tomarlo como si fueran instrucciones legítimas. Actúan en función de eso. Así, una herramienta pensada para defender puede terminar convertida en un posible vector de ataque.
La demostración de Friendly Fire parte de una escena cada vez más habitual: un agente automatizado revisa bibliotecas de código abierto de terceros para buscar vulnerabilidades, resumir riesgos o recomendar correcciones. Ahí está el truco, dice el informe: esconder instrucciones maliciosas dentro del propio código o incluso en la documentación de una librería que, a simple vista, parece inocua.
Cuando el sistema analiza ese material, puede acabar obedeciendo esas instrucciones y poner en marcha acciones peligrosas en la máquina del usuario, según muestra la prueba de concepto.
En concreto, el software no compromete al objetivo de forma directa. Antes engaña a la herramienta que debía protegerlo. El informe añade que el problema aparece justo en el límite de confianza, porque estos agentes leen datos no fiables y a veces los procesan como si fueran órdenes válidas.
Los investigadores también señalan que en la prueba participaron herramientas comerciales basadas en modelos de OpenAI y Anthropic.
Eso no quiere decir que el riesgo se reduzca a OpenAI y Anthropic. Sí deja claro, en cambio, que la exposición alcanza a plataformas muy extendidas entre organizaciones que ya están metiendo automatización en sus operaciones de defensa. La advertencia llega, además, en pleno entusiasmo por este tipo de sistemas. Según el informe, ya se usan para monitorizar fraude, detectar phishing, hacer pruebas de penetración y vigilar entornos en la nube. Mientras tanto, los atacantes avanzan por su lado, con campañas de phishing más convincentes, malware más adaptable y cadenas de ataque cada vez más autónomas.
Tener siempre a una persona supervisando tampoco asegura una protección total.
Varios expertos avisan de que, si el agente etiqueta instrucciones maliciosas como benignas o entrega conclusiones engañosas con una apariencia técnica convincente, el operador puede no ver el problema a tiempo. Sobre todo en entornos donde manda la velocidad.
La investigación de AI Now Institute también menciona operaciones de ciberespionaje orquestadas con estos sistemas contra unas 30 organizaciones en todo el mundo. Las implicaciones, por tanto, van más allá de la empresa privada y alcanzan a gobiernos y defensa, con riesgos para el equilibrio de poder, el espionaje digital, escaladas no previstas, desinformación entre aliados e incluso infraestructuras civiles. La lección que deja Friendly Fire es bastante directa: confiar en agentes capaces de actuar sobre sistemas reales puede ahorrar tiempo, sí, pero también obliga a replantear desde la base cómo se separan los datos, las instrucciones y los permisos antes de ponerlos a trabajar en tareas críticas.
