OpenAI ha emitido una advertencia sobre la creciente amenaza de ataques de inyección de prompts, una técnica que oculta instrucciones maliciosas en contenido en línea ordinario, convirtiéndose en un riesgo considerable para los agentes de inteligencia artificial que operan en navegadores web. La empresa ha implementado una actualización de seguridad para su herramienta ChatGPT Atlas tras descubrir una nueva clase de ataques durante simulaciones internas de seguridad automatizadas.
No tanta inteligencia, pero muy artificial
La versión actualizada de Atlas incluye un modelo adiestrado específicamente para resistir ataques adversarios, así como salvaguardias reforzadas. Según OpenAI, el modo de agente del navegador permite al software interactuar en la web de manera similar a un usuario humano, accediendo a correos electrónicos, documentos y servicios web, lo que aumenta su valor como objetivo de ataques adversarios en comparación con un chatbot tradicional que solo responde preguntas.
La compañía ha desarrollado un atacante automatizado, utilizando modelos de lenguaje que identifican estrategias de inyección de prompts, lo que permite llevar a cabo flujos de trabajo dañinos complejos. Este atacante puede simular encuentros con contenido malicioso, generando un rastro completo de razonamiento y acciones del agente víctima, lo que ayuda a refinar los ataques a través de múltiples rondas de prueba.
Un ejemplo hipotético ilustra el riesgo: un correo electrónico malicioso que indica al agente enviar una carta de renuncia al jefe del usuario. Si el agente encuentra este correo durante una solicitud legítima, podría malinterpretar las instrucciones, actuando en detrimento del usuario. Este cambio en la dinámica de interacción resalta la necesidad de abordar las nuevas formas de riesgo online.
No es solo OpenAI la que se enfrenta a este problema; el Centro Nacional de Ciberseguridad del Reino Unido ha advertido que estos ataques podrían no eliminarse por completo, instando a las organizaciones a minimizar riesgos y limitar impactos. Con la introducción de un equipo de “Preparación”, OpenAI busca identificar y abordar estos riesgos emergentes en el ámbito de la inteligencia artificial y la ciberseguridad.