Google heeft een Gmail-waarschuwing bevestigd met betrekking tot een nieuwe AI-gestuurde aanval die Gmail-accounts kan compromitteren. Deze aanval maakt gebruik van snelle injectietechnieken die verborgen zijn in e-mails, berichten, websites, bijlagen en agenda-uitnodigingen.
De kwetsbaarheid werd benadrukt door Eito Miyamura, die op X demonstreerde hoe ChatGPT kon worden gemanipuleerd om de privé-e-mailgegevens van een slachtoffer te lekken met alleen zijn e-mailadres. Volgens Miyamura “volgen AI-agenten zoals ChatGPT uw commando’s, niet uw gezond verstand”, waarmee de mogelijkheid van gegevensexfiltratie wordt benadrukt.
Google had in juni al gewaarschuwd voor dit soort bedreigingen en karakteriseerde het als een ‘nieuwe golf van bedreigingen’ gericht op het manipuleren van AI-systemen. Deze bedreigingen omvatten kwaadaardige instructies die zijn ingebed in e-mails, documenten of agenda-uitnodigingen en die AI dwingen gebruikersgegevens te extraheren of ongeautoriseerde acties uit te voeren.
De gedemonstreerde aanval is een proof-of-concept en begint met een kwaadaardige agenda-uitnodiging die geen acceptatie van het slachtoffer vereist. Wanneer ChatGPT de opdracht krijgt om de gebruiker voor te bereiden op zijn dag door zijn agenda te bekijken, wordt de AI-assistent “gekaapt door de aanvaller en zal handelen op bevel van de aanvaller, door uw privé-e-mails te doorzoeken en de gegevens naar de e-mail van de aanvaller te sturen”, aldus rapporten.
Om dit risico te beperken, adviseert Google gebruikers om de instelling ‘bekende afzenders’ in Google Agenda in te schakelen. Deze maatregel helpt voorkomen dat kwaadwillige of spamgebeurtenissen automatisch in het agendaraster verschijnen. Google stelt: “We hebben ontdekt dat dit een bijzonder effectieve aanpak is om gebruikers te helpen voorkomen dat kwaadwillige of spamgebeurtenissen in hun agendaraster verschijnen. De specifieke agenda-uitnodiging zou niet automatisch zijn beland, tenzij de gebruiker eerdere interacties met de slechte actor heeft gehad of de standaardinstellingen heeft gewijzigd.”
Google benadrukt ook het belang van het beveiligen van AI-modellen tegen dergelijke aanvallen. Het bedrijf beweert dat “Onze modeltraining met vijandige gegevens onze verdediging tegen indirecte, snelle injectie-aanvallen in Gemini 2.5-modellen aanzienlijk heeft verbeterd”, hoewel bij deze specifieke aanval geen Gemini betrokken was.
Bovendien implementeert Google filters om snelle injectie-aanvallen te detecteren. Ze “rollen eigen machine learning-modellen uit die kwaadaardige aanwijzingen en instructies in verschillende formaten, zoals e-mails en bestanden, kunnen detecteren.” Deze modellen zijn bedoeld om kwaadaardige instructies in e-mails te identificeren en te negeren, waardoor veilige reacties voor gebruikers worden gegenereerd.
Google benadrukt dat de ingebouwde verdediging van Gmail al meer dan 99,9% van de spam, phishing-pogingen en malware blokkeert. Het bedrijf haalt een voorbeeld aan van een e-mail “die kwaadaardige instructies bevat; onze inhoudclassificatoren helpen kwaadaardige instructies te detecteren en te negeren, en genereren vervolgens een veilig antwoord voor de gebruiker.”
Miyamura waarschuwt dat AI, ondanks de intelligentie, kwetsbaar blijft voor manipulatie en phishing, wat mogelijk tot datalekken kan leiden. Hij waarschuwt: “AI is misschien super slim, maar kan op ongelooflijk domme manieren worden misleid en gephishing om uw gegevens te lekken.”
Google beweert dat deze dreiging “niet specifiek is voor Google”, en benadrukt daarmee het sectorbrede belang van het ontwikkelen van robuuste bescherming tegen snelle injectie-aanvallen.
