Foutieve grammatica kan AI-chatbots het verkeerde pad op sturen

AI-chatbots werken met een systeem van tokens. Dat zijn bouwstenen van betekenis binnen de tekst. Bij extreem lange en grammaticaal incorrecte zinnen raakt dit systeem overbelast. De chatbot krijgt daardoor geen kans meer om zijn eigen regels te controleren en filtert de verboden inhoud niet langer. Experts waarschuwen dat dit vooral een risico vormt bij gesloten, interne modellen, die mogelijk minder streng bewaakt worden dan publieke versies.

Dit is niet het enige probleem met chatbots. Uit onderzoek van Ben-Gurion University blijkt dat de meeste grote modellen eenvoudig te misleiden zijn om gevaarlijke of illegale informatie te geven — zoals hoe je een bom maakt of een computer hackt — door middel van bewerkelijke vragen die gericht zijn op het omzeilen van de beschermlagen. Een andere studie toont aan dat zelfs nonsens, of "gibberish", aan het einde van een prompt ervoor kan zorgen dat het model reageert op ongepaste verzoeken, terwijl het dat zonder die toevoeging niet zou doen.

Deze kwetsbaarheden maken duidelijk dat chatbots onbedoeld gevaarlijke of op zijn minst schadelijke antwoorden kunnen geven. Dat vormt zeker een risico wanneer mensen vertrouwen op AI voor betrouwbare informatie of hulp. Zowel bij open AI-systemen als bij vertrouwelijke modellen moeten ontwikkelaars daarom heldere grenzen trekken en deze streng bewaken. Vooral bij toepassingen in de gezondheidszorg, onderwijs of hulpverlening is dat van groot belang.