Phishingmails proberen ook de AI achter je inbox te misleiden

Barracuda beschrijft in een analyse van begin oktober phishingmails met verborgen opdrachten voor AI-assistenten. De aanvallen proberen verdachte berichten in samenvattingen als betrouwbaar of dringend te laten verschijnen, schrijft het beveiligingsbedrijf in zijn onderzoeksbericht.

Daarmee krijgt een oude oplichtingstruc een extra route naar de gebruiker. Wie zijn inbox laat samenvatten, beoordeelt mogelijk eerst de uitleg van de assistent. Als een aanvaller die uitleg beïnvloedt, kan een schadelijk verzoek overtuigender overkomen voordat iemand de oorspronkelijke mail heeft gelezen.

Eén laag lokt de ontvanger, de andere probeert diens AI te sturen. Barracuda noemt een factuurmail met de verborgen opdracht gewijzigde betaalgegevens als belangrijke actie op te nemen.

De aanwijzingen kunnen onder meer in HTML-commentaar, onzichtbaar opgemaakte tekst of gecodeerde gegevens staan. Een mailprogramma toont zulke onderdelen niet altijd, terwijl software die de onderliggende inhoud verwerkt ze wel kan tegenkomen.

Een afzender krijgt daarmee niet automatisch controle over iedere mailassistent. De uitkomst hangt onder meer af van welke inhoud het mailsysteem doorgeeft en hoe het model daarop reageert. Een verborgen tekstblok dat de assistent nooit ontvangt, kan langs die route ook geen opdracht overbrengen.

De techniek valt onder promptinjectie. Volgens de uitleg van OWASP hoeft zo’n aanval niet zichtbaar te zijn voor mensen. Het probleem ontstaat wanneer de AI externe inhoud behandelt als een geldige instructie voor zichzelf.

Dat onderscheid is eenvoudig uit te leggen. Een assistent mag beschrijven dat een afzender om een betaling vraagt. Hij moet daarbij herkenbaar houden dat het verzoek van die afzender komt. Wanneer hij het overneemt als eigen advies, verdwijnt voor de lezer een belangrijk verschil tussen een bewering en een controle.

Barracuda noemt geen slagingspercentage, getroffen modelnamen of bewezen schade. Daardoor laat de analyse geen algemene conclusie over de kwetsbaarheid van e-mailassistenten toe.

Microsoft adviseert in zijn richtlijnen tegen indirecte promptinjectie meerdere beveiligingslagen. Organisaties moeten externe inhoud afzonderen, afwijkende handelingen volgen en AI-agenten alleen de rechten geven die zij voor hun taak nodig hebben. Risicovolle acties vragen om controle door een mens.

Voor een inboxassistent betekent dat bijvoorbeeld dat samenvatten en betaalgegevens wijzigen afzonderlijke bevoegdheden moeten zijn. Ook het doorsturen van berichten verdient een eigen controle. Een fout in een samenvatting hoeft dan niet direct te leiden tot een wijziging in de administratie of het delen van vertrouwelijke informatie.

Die aanpak sluit aan bij de bredere ontwikkeling om AI-agenten tijdens hun werk te bewaken en te begrenzen.

De Kamer van Koophandel adviseert bij factuurfraude de afzender en het rekeningnummer te vergelijken met de eigen administratie. Bij twijfel hoort contact via eerder bekende gegevens daarbij. Een telefoonnummer dat alleen in de verdachte factuur staat, biedt die onafhankelijke controle niet.

Controleer ook of het product of de dienst daadwerkelijk besteld is en of factuur- en ordernummers aansluiten op de administratie. Een herkenbare bedrijfsnaam alleen is geen voldoende controle.

Een AI-samenvatting verandert die controle niet. Zij kan helpen om een verzoek snel te begrijpen, maar vormt op zichzelf geen bevestiging dat een leverancier werkelijk een ander rekeningnummer gebruikt. Juist wanneer de assistent haast aanbeveelt, blijft de herkomst van dat advies een vraag die de gebruiker moet kunnen beantwoorden.