Onderzoekers van het AI Now Institute laten in hun proof-of-concept en rapport Friendly Fire zien dat moderne beveiligingssoftware van Anthropic en OpenAI zich ook tegen de gebruiker kan keren. Hun punt is vrij scherp: dit soort tools helpt niet alleen bij verdediging, maar kan net zo goed worden ingezet om systemen aan te vallen. Volgens de onderzoekers zit het probleem in de manier waarop een digitale agent, bedoeld voor codecontrole of kwetsbaarheidsscans, verborgen instructies kan oppikken uit externe broncode of documentatie.
Met als gevolg dat zo’n tool op het apparaat van de gebruiker onbedoeld kwaadaardige handelingen kan uitvoeren.
In het rapport staat dat de aanval werkt zodra een agent ogenschijnlijk veilige open-source code, handleidingen of andere externe bestanden onder de loep neemt. In dat materiaal kunnen instructies verstopt zitten die voor een mens onschuldig ogen, maar die door de software wel degelijk als opdracht worden gelezen. Friendly Fire van het AI Now Institute maakt vooral het volgende duidelijk:
- analyse van externe code of documentatie. Verborgen instructies in bestanden die veilig lijken, kunnen door de agent gewoon als commando’s worden opgepikt.
- kwetsbare geautomatiseerde security-scans. Vooral autonome en semi-autonome workflows zijn hier gevoelig voor, zeker als zulke systemen worden gebruikt voor code-review, het opsporen van lekken, fraudedetectie, phishingfiltering, cloudbeveiliging en zelfs penetratietests.
- de verdediger zet zelf de deur open. Een agent die code van derden juist op zwakke plekken moet controleren, kan daardoor worden verleid om schadelijke commando’s uit te voeren op de machine van de gebruiker.
- een dieper vertrouwensprobleem. De software moet voortdurend inschatten wat een legitieme opdracht is en wat kwaadaardige manipulatie uit onbetrouwbare data.
- geen simpel lek dat je met één patch oplost. De onderzoekers van het AI Now Institute beschrijven dit als een ontwerpprobleem in de manier waarop zulke agenten taken uitvoeren over meerdere systemen en databronnen heen.
- meer autonomie, meer risico. Het AI Now Institute stelt het vrij direct: hoe meer toegang een agent krijgt tot codebases, terminals, cloudomgevingen of interne documenten, hoe groter de kans dat een fout of manipulatie meteen gevolgen heeft.
- dezelfde technologische ontwikkeling helpt beide kanten. Bedrijven gebruiken deze systemen om dreigingen sneller op te merken, terwijl criminelen en statelijke actoren ze inzetten voor overtuigendere phishing, flexibelere malware en cyberoperaties die steeds zelfstandiger worden.
De gevolgen blijven dan ook niet hangen bij ontwikkelteams en security-afdelingen. Uit de bevindingen van het AI Now Institute komt ook een bredere discussie naar voren, over digitale spionage, geopolitieke rivaliteit en militaire besluitvorming. Zeker nu veel organisaties nog leunen op menselijke controle als vangnet, terwijl software intussen zelf taken uitvoert en beslissingen voorbereidt.
Wie zulke slimme beveiligingsassistenten inzet, krijgt van de onderzoekers van het AI Now Institute een vrij eenvoudige les mee: behandel ze niet vanzelfsprekend als vertrouwde collega’s. Op het moment dat zulke agenten onbetrouwbare externe input mogen lezen en tegelijk ook acties mogen uitvoeren, kan bescherming ineens omslaan in een aanvalsvector.
