Mensen zeggen bijna nooit meer 'ik weet het niet' door AI

Mensen die een AI-assistent kunnen raadplegen, zeggen veel minder vaak dat ze iets niet weten. Zelfs wanneer de kunstmatige intelligentie verkeerde antwoorden geeft. Dat blijkt uit een onderzoek met 3.132 deelnemers. Opvallend genoeg groeit het zelfvertrouwen van de deelnemers, terwijl ze juist minder goede antwoorden geven.

Wetenschappers van drie Europese universiteiten onderzochten wat er gebeurt wanneer mensen moeilijke vragen krijgen en daarbij hulp kunnen vragen aan AI. De resultaten staan in een onderzoek dat eerder dit jaar verscheen.

De belangrijkste conclusie gaat verder dan de bekende waarschuwing dat AI soms fouten maakt. De aanwezigheid van een AI-assistent lijkt ook te veranderen hoe mensen omgaan met hun eigen onzekerheid.

De onderzoekers, Chiara Marcoccia, Walter Quattrociocchi en Valerio Capraro, voerden vijf experimenten uit. In totaal deden 3.132 mensen mee.

De deelnemers kregen zes moeilijke vragen over kleine details uit films. Bijvoorbeeld welke kleur het voetbaltenue heeft in Bend It Like Beckham, of welk kapsel een personage draagt in The Grand Budapest Hotel.

Iedereen mocht een antwoord geven, maar ook aangeven het niet te weten. Een deel van de deelnemers kon daarnaast een AI-assistent raadplegen.

Het verschil was enorm.

In het eerste experiment gaf de groep zonder AI bij ongeveer 36 procent van de vragen aan het antwoord niet te weten. Bij de groep met toegang tot AI daalde dat naar 6 procent.

Een tweede experiment liet een nog groter verschil zien. Zonder AI hielden deelnemers bij 44 procent van de vragen hun antwoord achter. Met AI gebeurde dat bij slechts 3 procent.

De onderzoekers noemen dit het opschorten van een oordeel. Mensen erkennen dat ze onvoldoende informatie hebben en kiezen ervoor geen antwoord te geven.

Die terughoudendheid verdween grotendeels zodra deelnemers AI konden inschakelen.

Dat mensen met AI vaker antwoord geven, hoeft natuurlijk geen probleem te zijn. Als de technologie de juiste informatie levert, kan dat juist nuttig zijn.

Maar de onderzoekers hadden hun experiment bewust anders ingericht.

Ze gebruikten het taalmodel Step 3.5 Flash van het Chinese bedrijf StepFun en selecteerden vragen waarop dat model doorgaans verkeerde antwoorden produceerde. Zo konden ze onderzoeken hoe mensen reageren op overtuigend AI-advies dat niet betrouwbaar is.

Het resultaat was opmerkelijk. In de experimenten zonder financiële prikkels beantwoordden deelnemers zonder AI gemiddeld 27,5 procent van alle vragen correct. Met AI daalde dat naar 9,2 procent.

Ondanks die slechtere prestaties nam het vertrouwen in de eigen antwoorden sterk toe.

In een van de experimenten beoordeelden deelnemers hun zekerheid op een schaal van 0 tot 100. Zonder AI lag het gemiddelde op 29,6 punten. Met AI steeg dat naar 75,9 punten.

Deelnemers waren dus ruim twee keer zo zeker van hun antwoorden, terwijl ze veel vaker ongelijk hadden.

Dat maakt het onderzoek interessant. AI veroorzaakt niet alleen het risico dat mensen verkeerde informatie overnemen. Het kan ook zorgen voor een gevoel van zekerheid dat niet overeenkomt met wat iemand daadwerkelijk weet.

Dit raakt aan het probleem van AI-hallucinaties. Taalmodellen kunnen onjuiste informatie produceren in zinnen die logisch en betrouwbaar klinken. De nieuwe experimenten laten zien hoe sterk zulke antwoorden het oordeel van gebruikers kunnen beïnvloeden.

De wetenschappers onderzochten ook of mensen voorzichtiger worden wanneer verkeerde antwoorden financiële gevolgen hebben.

Deelnemers konden tien dollarcent verdienen voor een correct antwoord, maar verloren hetzelfde bedrag wanneer ze iets verkeerd hadden. Wie aangaf het antwoord niet te weten, kreeg niets en verloor ook niets.

Dat veranderde het gedrag gedeeltelijk.

Deelnemers vroegen minder vaak advies aan AI, gaven vaker correcte antwoorden en kozen iets vaker voor onzekerheid. Toch bleven de verschillen met de groepen zonder AI groot.

In een van de experimenten met financiële gevolgen gaf de groep zonder AI bij 41 procent van de vragen geen antwoord. Bij deelnemers met AI was dat slechts 8 procent.

De onderzoekers concludeerden dat financiële prikkels mensen wel degelijk kritischer kunnen maken. Maar zelfs wanneer fouten geld kosten, blijft de aantrekkingskracht van een direct AI-antwoord groot.

Het laatste experiment maakt de resultaten bijzonder relevant voor het dagelijkse gebruik van kunstmatige intelligentie.

In de eerdere experimenten mochten deelnemers zelf beslissen of ze AI wilden raadplegen. In het laatste experiment verscheen het AI-antwoord automatisch naast de vraag.

Ook toen verdween de neiging om onzekerheid toe te geven vrijwel volledig. Zonder financiële prikkels hield de groep zonder AI bij ongeveer 35 procent van de vragen het antwoord achter. Met automatisch getoond AI-advies daalde dat naar ongeveer 1 procent.

Dat is belangrijk omdat AI steeds vaker onderdeel wordt van software die mensen dagelijks gebruiken. Denk aan zoekmachines die direct een AI-samenvatting tonen, tekstverwerkers die suggesties doen en digitale assistenten die antwoorden presenteren voordat gebruikers zelf onderzoek verrichten.

Op AI Wereld schreven we eerder over onderzoek naar fouten in AI-nieuwssamenvattingen. De nieuwe studie wijst op een aanvullend risico: gebruikers kunnen door de aanwezigheid van zo'n antwoord ook minder geneigd raken om zelf te twijfelen.

De onderzoekers suggereren dat AI de grens verlaagt waarop mensen denken voldoende kennis te hebben om een antwoord te geven.

De resultaten zijn opvallend, maar kennen belangrijke beperkingen.

Alle experimenten draaiden om moeilijke vragen over films. De onderzoekers kozen bovendien bewust vragen waarop het gebruikte AI-model vaak fouten maakte. Ze hebben dus niet bewezen dat mensen bij iedere toepassing van AI minder goede beslissingen nemen.

Het onderzoek laat ook niet zien of langdurig AI-gebruik ons denkvermogen blijvend verandert. Daarvoor zijn andere experimenten nodig.

Bovendien onderzochten de wetenschappers niet wat er gebeurt wanneer een AI-assistent meestal betrouwbare informatie geeft. Mogelijk reageren mensen dan anders. De studie verscheen als wetenschappelijke preprint en moet niet als definitief bewijs voor alle vormen van AI-gebruik gelden.

Toch raakt het onderzoek aan een fundamentele vraag over onze omgang met technologie.

Een goede assistent helpt mensen om meer te weten te komen. Maar wanneer iemand een antwoord van AI overneemt zonder het te controleren, ontstaat een verschil tussen informatie hebben en iets daadwerkelijk weten.

De onderzoekers wijzen erop dat juist het vermogen om onzekerheid te herkennen een belangrijk onderdeel is van menselijk oordeelsvermogen.

Misschien wordt dat wel een van de belangrijkste vaardigheden in een wereld vol AI: niet alleen weten hoe je een antwoord krijgt, maar ook blijven herkennen wanneer je het antwoord eigenlijk niet weet.