Une nouvelle étude a révélé que des acteurs malveillants peuvent exploiter les configurations par défaut de la plateforme d’intelligence artificielle générative Now Assist de ServiceNow, leur permettant de réaliser des attaques par injection de commandes. Ce type d’attaque, appelé injection de second ordre, repose sur la capacité de découverte entre agents de Now Assist, facilitant l’accès à des données sensibles et la modification de dossiers sans autorisation.
IA contre IA
Aaron Costello, responsable de la recherche en sécurité SaaS chez AppOmni, a averti que le comportement qui permet ce type d’abus n’est pas un défaut de l’intelligence artificielle, mais une caractéristique attendue de certaines options de configuration. « Lorsque les agents peuvent se découvrir et se recruter mutuellement, une demande apparemment inoffensive peut se transformer en attaque, mettant en danger des informations sensibles », a souligné Costello.
L’architecture de Now Assist permet à un agent bienveillant de traiter des demandes composées de commandes soigneusement conçues, recrutant ainsi des agents plus puissants capables de modifier des enregistrements ou de copier des données d’entreprise. Ce qui est préoccupant, c’est que ces actions malveillantes peuvent être effectuées en arrière-plan, rendant leur détection difficile pour les organisations concernées.
Pour atténuer ces risques, les experts suggèrent de mettre en œuvre un mode d’exécution supervisée pour les agents avec des privilèges, de désactiver la propriété d’annulation autonome et de segmenter les fonctions des agents par équipe. De plus, il est recommandé de réaliser une surveillance continue du comportement des agents d’intelligence artificielle pour identifier toute activité suspecte.
ServiceNow a reconnu les constatations et, bien qu’elle ait affirmé que la fonctionnalité a été intentionnellement conçue de cette manière, elle a mis à jour sa documentation pour fournir une plus grande clarté sur les configurations de sécurité. Si les organisations utilisant Now Assist ne vérifient pas soigneusement leurs configurations, elles pourraient déjà être en danger, a averti Costello.