Nieuwe studie: ook AI zoals ChatGPT trapt in menselijke denkfouten

AI lijkt voor veel gebruikers misschien slim en rationeel, maar ook systemen zoals ChatGPT maken regelmatig dezelfde denkfouten als mensen. Dat wordt verder bevestigd uit een nieuwe studie die op 8 april is verschenen in het wetenschappelijke tijdschrift Manufacturing & Service Operations Management.

Onderzoekers namen twee versies van het populaire AI model onder de loep: GPT-3.5 en GPT-4. Ze testen deze modellen met 18 bekende cognitieve biases, oftewel denkfouten die mensen vaak maken zonder het door te hebben. Denk aan overmoed, risico-aversie of het “hot hand” effect; het idee dat iemand die succes heeft ook in de toekomst meer kans heeft op succes, zelfs als dat statistisch onzin is.

Wat bleek? In bijna de helft van de scenario’s trapte ChatGPT in dezelfde valkuilen als wij. GPT-4 deed het beter dan GPT-3.5 als het ging om logische of wiskundige vraagstukken. Maar zodra het aankwam op subjectieve keuzes, zoals inschattingen, voorkeuren of strategische beslissingen, maakte ook de geavanceerdere versie opvallend vaak dezelfde fouten als mensen.

Soms ging het zelfs een stapje verder. Zo bleek GPT-4 de confirmation bias, oftewel de neiging om alleen informatie te zoeken of te geloven die je eigen mening bevestigt, juist te versterken in plaats van te vermijden. Toch was het niet alleen maar kommer en kwel: denkfouten zoals de sunk-cost fallacy (blijven investeren in iets omdat je er al veel tijd of geld in hebt gestoken) wist ChatGPT verrassend goed te vermijden.

De oorzaak van deze denkfouten? Volgens de onderzoekers ligt het aan het trainingsmateriaal. AI-modellen zoals ChatGPT leren van grote hoeveelheden menselijke tekst. En mensen zijn nou eenmaal niet altijd even logisch of rationeel, niet gek dus dat de Large Language Modellen (LLM) zelf ook menselijke fouten maken. Daarnaast kiest het model vaak voor antwoorden die aannemelijk klinken, in plaats van strikt correcte of rationele oplossingen.

Het belangrijkste inzicht uit het onderzoek is dan ook dat AI het beste werkt bij duidelijke, berekenbare problemen. Zodra er subjectiviteit of strategie bij komt kijken, blijft menselijke controle essentieel. Of zoals een van de onderzoekers het treffend zei: “AI is als een slimme werknemer. Heel nuttig, maar je moet er wel toezicht op houden en duidelijke richtlijnen geven.”