Brits NCSC: promptinjection-aanvallen bij AI zijn niet te voorkomen

Het Britse National Cyber Security Centre (NCSC) waarschuwt dat promptinjection-aanvallen bij kunstmatige intelligentie (AI) mogelijk nooit volledig te voorkomen zijn. De organisatie stelt dat deze aanvallen inherent zijn aan de manier waarop grote taalmodellen (LLM’s) functioneren. Hierdoor kunnen kwaadwillenden via slim geformuleerde prompts misbruik maken van AI-systemen.

Een promptinjection is een aanval waarbij een gebruiker of aanvaller een taalmodel, zoals ChatGPT of Claude, manipuleert om acties uit te voeren of informatie te delen die normaal gesproken geblokkeerd zou zijn. De aanval lijkt op klassieke beveiligingslekken zoals SQL-injecties, maar is complexer omdat AI-modellen geen duidelijk onderscheid kunnen maken tussen legitieme en schadelijke instructies.

Volgens het NCSC is het misleidend om promptinjection te vergelijken met traditionele aanvallen. Waar SQL-injecties kunnen worden voorkomen met technische maatregelen, ontbreekt bij taalmodellen een betrouwbare manier om invoer en instructies strikt te scheiden. Daardoor blijft de deur altijd op een kier staan voor misbruik.

Het NCSC benadrukt dat organisaties niet moeten streven naar een volledig veilige AI, maar naar risicobeperking. Door AI-systemen af te schermen, toegangsrechten te beperken en monitoring te verbeteren, kunnen bedrijven de schade van succesvolle aanvallen minimaliseren.

Nu steeds meer bedrijven generatieve AI inzetten voor klantenservice, data-analyse en automatisering, groeit het risico op misbruik. Een succesvolle promptinjection kan leiden tot datalekken, verkeerde beslissingen of manipulatie van gevoelige informatie.

De waarschuwing van het NCSC volgt op meerdere incidenten waarbij AI-systemen misleid werden door onschuldige prompts die uiteindelijk toegang gaven tot interne bedrijfsdata of instructies uitvoerden buiten hun bedoeling. De organisatie roept ontwikkelaars en beleidsmakers op om AI-beveiliging als doorlopend proces te behandelen in plaats van een einddoel.

De boodschap van het NCSC is duidelijk: promptinjection-aanvallen zijn structureel en fundamenteel moeilijk te stoppen. In plaats van te streven naar een volledig veilige AI, moeten organisaties zich richten op schadebeperking, veiligheidslagen en bewust gebruik van generatieve systemen.