Un nuevo estudio ha revelado que actores maliciosos pueden aprovechar las configuraciones predeterminadas de la plataforma de inteligencia artificial generativa Now Assist de ServiceNow, lo que les permite realizar ataques de inyección de comandos. Este tipo de ataque, denominado inyección de segundo orden, se basa en la capacidad de descubrimiento entre agentes de Now Assist, facilitando el acceso a datos sensibles y la modificación de registros sin autorización.
IA contra IA
Aaron Costello, jefe de Investigación en Seguridad de SaaS en AppOmni, advirtió que el comportamiento que permite este tipo de abusos no es un fallo en la inteligencia artificial, sino una característica esperada de ciertas opciones de configuración. “Cuando los agentes pueden descubrirse y reclutarse entre sí, una solicitud aparentemente inofensiva puede convertirse en un ataque, poniendo en riesgo información sensible”, señaló Costello.
La arquitectura de Now Assist permite que un agente benigno procese solicitudes compuestas por comandos cuidadosamente diseñados, reclutando así a agentes más potentes que pueden alterar registros o copiar datos corporativos. Lo que resulta preocupante es que estas acciones maliciosas pueden llevarse a cabo en segundo plano, dificultando su detección por parte de las organizaciones afectadas.
Para mitigar estos riesgos, los expertos sugieren implementar un modo de ejecución supervisada para los agentes con privilegios, desactivar la propiedad de anulación autónoma y segmentar las funciones de los agentes por equipo. Además, se recomienda realizar un monitoreo continuo del comportamiento de los agentes de inteligencia artificial para identificar cualquier actividad sospechosa.
ServiceNow ha reconocido los hallazgos y, aunque ha afirmado que la funcionalidad se diseñó intencionalmente de este modo, ha actualizado su documentación para proporcionar una mayor claridad sobre las configuraciones de seguridad. Si las organizaciones que utilizan Now Assist no revisan cuidadosamente sus configuraciones, podrían ya estar en riesgo, advirtió Costello.