AI wordt slimmer, maar chatbots gaan ook steeds vaker in de mist

AI modellen worden krachtiger en kunnen steeds meer. Bekende chat modellen zoals ChatGPT lanceren om de paar maanden weer een nieuwe versie. Hoewel deze updates nieuwe functies introduceren en de AI modellen steeds slimmer maken, zien onderzoekers ook reden tot zorg. Zogeheten “hallucinaties” treden namelijk vaker dan ooit op. En nee, dat betekent niet dat ze plotseling LSD nemen, maar wel dat ze flink wat onzin kunnen uitkramen.

Uit recente tests van OpenAI zelf blijkt dat gloednieuwe chatbots, zoals o4-mini, bijna drie keer zo vaak hallucineren als oudere modellen. Waar het o1-model nog braaf 16% van de samenvattingen over personen verprutste, schoot de o4-mini naar een hallucinatie percentage van maar liefst 48%. En het zijn niet alleen OpenAI’s systemen: ook andere AI’s, zoals DeepSeek R1, laten hogere foutmarges zien. Best vreemd, want deze modellen krijgen juist upgrades om beter te redeneren.

Simpel gezegd: de chatbot geeft volledig verzonnen informatie alsof het een feit is. Of het geeft een antwoord dat technisch klopt, maar niks met de vraag te maken heeft.

Voorbeelden:  

En dat is best een probleem, want veel bedrijven en gebruikers vertrouwen ondertussen steeds meer op AI modellen en mensen verifiëren niet altijd de antwoorden van chatbots.

Natuurlijk zijn er kanttekeningen. Tests zoals de zogeheten “Vectara’s leaderboard” meten vooral hoe goed AI samenvattingen maakt, maar zeggen weinig over andere taken. Soms geeft een model een antwoord dat niet in de bron staat, maar wel logisch is, en dan telt het als "fout" in de hallucinatie tests. Ook is de term hallucinatie eigenlijk misleidend, zegt taalexpert Emily Bender: Alsof de AI iets waarneemt, terwijl het gewoon woorden aan het gokken is.