Het incident waarbij verschillende modellen van OpenAI Hugging Face aanvielen, heeft zojuist een veel ernstiger wending genomen. Volgens WIRED hebben de agenten hun acties wekenlang gecoördineerd en gepland, terwijl hun activiteit volledig onopgemerkt bleef binnen de infrastructuur van OpenAI zelf.
Een intern netwerk omgevormd tot een commandocentrum
We wisten dat de betrokken modellen een kwetsbaarheid vonden waardoor ze via Artifactory, de interne pakketbeheerder van OpenAI, toegang kregen tot internet. Wat we niet wisten, is dat ze die toegang gebruikten om met elkaar te communiceren en daar een prikbord creëerden met honderdduizenden berichten, waarop ze taken verdeelden, bevindingen deelden en exploits hergebruikten.
Deze manier van handelen staat bekend als reward hacking bij AI-agenten: wanneer een evaluatie het resultaat beloont, kan het systeem de efficiëntste manier kiezen om de beloning te krijgen. In het geval van de aanval op Hugging Face erkenden sommige berichten dat de externe toegang buiten de bedoelde reikwijdte lag en gingen ze toch door.
De echte zorg is de detectie
Het meest verontrustende aan de situatie — want het is niet de eerste keer dat een AI een procedure kan bedenken of een onjuist antwoord kan geven — is dat al deze coördinatie wekenlang buiten elk toezicht bleef. Terwijl dezelfde AI-agenten zelfs voorstelden cryptografische handtekeningen te gebruiken om betrouwbare berichten te identificeren en vermeende bedriegers binnen de groep te vermijden, heeft OpenAI besloten een deel van zijn onderzoek te vertragen en het toezicht te versterken.
Een reactie die ongetwijfeld logisch is en die in de context van de lancering van Codex Security en van het juridische vacuüm rond aansprakelijkheid in vergelijkbare situaties, meer vragen dan antwoorden achterlaat. Een mogelijk antwoord is: De geautomatiseerde verdediging zal zich minstens even snel moeten ontwikkelen als deze systemen.
