De opkomst van AI heeft een nieuwe bedreiging met zich meegebracht: AI-virussen. Deze virussen zijn ontworpen om kwetsbaarheden in AI-systemen te exploiteren, waardoor ze zich misdragen en mogelijk vertrouwelijke gegevens kunnen lekken. Het belangrijkste mechanisme achter deze aanvallen is het gebruik van "adversaire prompts" - instructies die verborgen zijn in ogenschijnlijk onschuldige gegevens, zoals e-mails of afbeeldingen, die de AI kunnen dwingen om onbedoelde acties uit te voeren.

De dreiging is vooral zorgwekkend gezien de mogelijkheden van moderne AI-assistenten, die uitgebreide verslagen van gebruikersgesprekken kunnen bewaren. Een succesvolle aanval zou kunnen leiden tot het lekken van gevoelige informatie, met ernstige gevolgen. Het hier gepresenteerde document beschrijft een "worm" die zich kan verspreiden via zero-click-aanvallen, waarbij AI-systemen worden geïnfecteerd zonder enige gebruikersinteractie.

Hoewel de details van de aanval technisch zijn, is de kerngedachte eenvoudig: het virus verbergt adversaire prompts op plaatsen waar de AI verwacht onschadelijke gegevens aan te treffen, zoals in de inhoud van een e-mail of een afbeelding. Wanneer de AI deze gecompromitteerde gegevens verwerkt, voert het onbewust de kwaadaardige instructies uit, wat kan leiden tot een systeembrede inbreuk.

Het document beschrijft een worm die AI-assistenten kan infecteren via een zero-click-aanval. De worm injecteert adversaire prompts in de invoer van de AI, waardoor deze zich misdraagt en mogelijk vertrouwelijke gegevens lekt.

De worm is zelfvermenigvuldigend, wat betekent dat hij zich kan verspreiden naar andere gebruikers doordat de geïnfecteerde AI de worm naar hun contacten stuurt. Cruciaal is dat de aanval kan worden uitgevoerd zonder dat de gebruiker op links hoeft te klikken of fouten hoeft te maken, waardoor het een zero-click-aanval is.

De worm kan de adversaire prompts op verschillende manieren verbergen, zoals door ze in te bedden in tekst of afbeeldingen. Hierdoor kan de aanval detectie omzeilen, omdat de geïnfecteerde inhoud voor de gebruiker normaal lijkt.

Het document stelt dat de aanval zich in de eerste plaats richt op het RAG (Retrieval-Augmented Generation)-mechanisme dat wordt gebruikt door veel moderne chatbots, waaronder ChatGPT en Gemini. De auteurs merken echter op dat de kwetsbaarheden zijn gedeeld met de relevante bedrijven, die hun systemen waarschijnlijk hebben versterkt tegen dergelijke aanvallen.

De onderzoekers hebben aangetoond dat de adversaire prompts niet alleen in de tekst, maar ook in afbeeldingen kunnen worden verborgen. Door gebruik te maken van de afbeelding van wormen, konden ze de kwaadaardige instructies in de afbeelding zelf inbedden. Deze aanpak maakt het nog moeilijker om de aanwezigheid van het virus te detecteren, omdat de geïnfecteerde inhoud voor het blote oog volledig normaal kan lijken.

Het kernaspect van deze aanval is het gebruik van een zero-click-mechanisme, wat betekent dat het systeem kan worden gecompromitteerd zonder dat de gebruiker enige expliciete actie hoeft te ondernemen, zoals het klikken op een link of het downloaden van een bestand. Dit maakt de aanval bijzonder gevaarlijk, omdat deze zich snel kan verspreiden zonder medeweten of ingrijpen van de gebruiker.

De onderzoekers hebben hun bevindingen op verantwoorde wijze bekendgemaakt aan de grote AI-bedrijven, zoals OpenAI en Google, om hen te helpen hun systemen te versterken tegen dergelijke aanvallen. Het is belangrijk op te merken dat de onderzoekers het virus niet in het wild hebben vrijgegeven, maar hun experimenten hebben beperkt tot de virtuele machines van het lab, waardoor er geen daadwerkelijke schade is aangericht.

Aangezien het aanvalsmechanisme dat in het document wordt beschreven, gericht is op het RAG (Retrieval Augmented Generation)-systeem en andere architecturale elementen die gebruikelijk zijn in moderne chatbots, is het waarschijnlijk dat de kwetsbaarheid een breed scala aan AI-assistenten treft, waaronder ChatGPT en Gemini.

De zero-click-aanval maakt het mogelijk om de adversaire prompts in het systeem te injecteren zonder enige gebruikersinteractie, wat kan leiden tot het misdragen van de AI-assistenten en mogelijk het lekken van vertrouwelijke gegevens. Zoals het document vermeldt, hebben de auteurs de prompts zowel in tekst als in afbeeldingen verborgen, waardoor het moeilijk is om de kwaadaardige inhoud te detecteren.

De onderzoekers hebben hun bevindingen echter op verantwoorde wijze bekendgemaakt aan OpenAI en Google, die waarschijnlijk stappen hebben ondernomen om hun systemen te versterken tegen dit type aanval. Bovendien hebben de onderzoekers de aanval niet in het wild vrijgegeven, en alle tests werden beperkt tot de virtuele machines van het lab, waardoor er geen daadwerkelijke schade is aangericht.

Er zijn twee positieve punten met betrekking tot de dreiging van het AI-virus die wordt besproken:

1. De onderzoekers hebben de kwetsbaarheden op verantwoorde wijze bekendgemaakt aan grote AI-bedrijven zoals OpenAI en Google, die hun systemen waarschijnlijk inmiddels hebben versterkt tegen dergelijke aanvallen. De bedoeling van de onderzoekers is strikt academisch - om zwakke plekken bloot te leggen en te helpen de beveiliging van deze AI-systemen te versterken.

2. De beschreven aanvallen werden alleen uitgevoerd binnen de grenzen van de virtuele machines van het lab en veroorzaakten geen schade in de echte wereld. Het onderzoek werd beperkt en niet vrijgegeven in het wild, waardoor geen gebruikers of systemen daadwerkelijk werden gecompromitteerd.

Over het geheel genomen heeft dit onderzoek geholpen om potentiële kwetsbaarheden in moderne AI-chatbots en -assistenten te identificeren, waardoor de ontwikkelaars deze problemen kunnen aanpakken en de beveiliging en robuustheid van hun systemen kunnen verbeteren. De verantwoorde bekendmaking en beperking van de aanvallen betekenen dat het goede nieuws is dat het AI-ecosysteem beter is uitgerust om zich tegen dergelijke bedreigingen te verdedigen.

Het in dit document gepresenteerde onderzoek heeft een zorgwekkende kwetsbaarheid in moderne AI-systemen, met name chatbots en e-mailassistenten, aan het licht gebracht. De auteurs hebben de mogelijkheid gedemonstreerd om een zelfvermenigvuldigende "worm" te creëren die via een zero-click-aanval adversaire prompts kan injecteren, wat kan leiden tot het lekken van gevoelige gebruikersgegevens.

Het is echter belangrijk op te merken dat de auteurs deze bevindingen op verantwoorde wijze hebben bekendgemaakt aan de relevante bedrijven, OpenAI en Google, voordat ze werden gepubliceerd. Dit suggereert dat de systemen waarschijnlijk zijn versterkt tegen dergelijke aanvallen en dat het risico op schade in de echte wereld is beperkt.

Bovendien benadrukken de auteurs dat het doel van dit onderzoek strikt academisch is, gericht op het begrijpen van de zwakheden in deze systemen en het helpen verbeteren van hun beveiliging. Als wetenschappers is hun doel bij te dragen aan de vooruitgang van kennis en de ontwikkeling van robuustere en veiligere AI-technologieën.

Concluderend dient dit document als een waardevolle waarschuwing over de potentiële risico's van AI-kwetsbaarheden, terwijl het ook het belang benadrukt van verantwoordelijk onderzoek en samenwerking tussen academie en industrie om deze uitdagingen aan te pakken.