Beveiligingsonderzoekers hebben een nieuwe cyberaanval gedemonstreerd die AI-agenten ertoe verleidt gevoelige gegevens uit e-mailinboxen te stelen, wat de opkomende risico’s in agentische AI-systemen benadrukt. In een proof-of-concept genaamd “Shadow Leak” maakten experts van Radware gebruik van OpenAI’s Deep Research-tool, ingebed in ChatGPT, om heimelijk informatie uit Gmail te extraheren zonder dat de gebruiker zich hiervan bewust was. De kwetsbaarheid, die OpenAI inmiddels heeft gepatcht, onderstreept de potentiële gevaren van AI-assistenten die autonoom namens gebruikers opereren.
AI-agents zoals Deep Research zijn ontworpen om de productiviteit te verbeteren door toegang te krijgen tot persoonlijke en professionele gegevens, zoals e-mails, agenda’s en documenten, om taken uit te voeren zoals surfen op het web en het klikken op links. Deep Research werd eerder dit jaar gelanceerd en stelt gebruikers in staat complexe onderzoeksactiviteiten te delegeren. Het experiment van Radware onthulde echter hoe deze mogelijkheden kunnen worden gekaapt door middel van snelle injectie, een techniek waarbij kwaadaardige instructies worden ingebed in ogenschijnlijk onschadelijke inhoud, zoals een e-mail.
De aanval begon toen onderzoekers een speciaal vervaardigde e-mail stuurden naar een Gmail-inbox die geautoriseerd was voor Deep Research-toegang. Verborgen in de e-mail – mogelijk als onzichtbare witte tekst op een witte achtergrond – zaten instructies die sluimerend bleven totdat de gebruiker de AI-tool aanriep. Bij activering kwam Deep Research de prompt tegen, waardoor het moest zoeken naar HR-gerelateerde e-mails en persoonlijke gegevens en de gegevens vervolgens naar een door de aanvaller gecontroleerd eindpunt moest exfiltreren. Het hele proces vond plaats op de cloudinfrastructuur van OpenAI, waarbij traditionele cyberbeveiligingsmaatregelen zoals eindpuntdetectie werden omzeild, aangezien de gegevens vóór verzending nooit de beveiligde omgeving van de AI verlieten.
Het ontwikkelen van de exploit was een uitdaging, met “een achtbaan van mislukte pogingen, frustrerende wegversperringen en uiteindelijk een doorbraak”, aldus het Radware-team. In tegenstelling tot typische promptinjecties die lokale AI-instanties manipuleren, maakte Shadow Leak gebruik van de externe uitvoering van de agent, waardoor deze bijzonder onopvallend werd. De onderzoekers benadrukten dat gebruikers zich er totaal niet van bewust waren, omdat de AI zijn malafide acties naadloos uitvoerde tijdens routinetaken.
De bevindingen van Radware reiken verder dan Gmail en waarschuwen dat verbonden applicaties, waaronder Outlook, GitHub, Google Drive en Dropbox, met soortgelijke bedreigingen te maken kunnen krijgen. “Dezelfde techniek kan worden toegepast op deze extra connectoren om zeer gevoelige bedrijfsgegevens zoals contracten, vergadernotities of klantgegevens te exfiltreren”, aldus het bedrijf. Prompt-injecties zijn al kwaadwillig gebruikt in scenario’s zoals het manipuleren van academische peer reviews, het plegen van oplichting en zelfs het besturen van slimme apparaten voor thuisgebruik, waarbij vaak detectie wordt omzeild omdat de instructies voor mensen niet waarneembaar zijn.
OpenAI heeft de specifieke fout aangepakt die Radware in juni signaleerde, door oplossingen te implementeren om dergelijke ongeoorloofde gegevensuitstromen te voorkomen. Niettemin dient het incident als een waarschuwing voor de bredere adoptie van agentische AI. Naarmate deze tools steeds vaker voorkomen, moeten organisaties en gebruikers prioriteit geven aan robuuste waarborgen, waaronder het monitoren van AI-interacties en het beperken van de reikwijdte van de gegevenstoegang. Cybersecurity-experts raden waakzaamheid aan en merken op dat hoewel snelle injecties moeilijk te voorkomen zijn zonder bekende exploits, verbeterde registratie en detectie van afwijkingen in AI-workflows toekomstige risico’s zouden kunnen beperken.
Deze demonstratie vindt plaats te midden van de toenemende aandacht voor AI-beveiliging. Nu agentische systemen efficiëntiewinsten beloven, herinneren incidenten als Shadow Leak belanghebbenden eraan dat innovatie in evenwicht moet worden gebracht met versterkte verdedigingsmechanismen om gevoelige informatie te beschermen in een wereld die steeds meer afhankelijk is van AI.
