Je chatbot klinkt slim, ook wanneer het antwoord fouten bevat

Een chatbot die soepel schrijft maar fouten maakt, kan ongeveer even intelligent overkomen als een chatbot die stroef formuleert en de feiten wel goed heeft. Dat blijkt uit een Nederlands experiment met 395 deelnemers. Het onderzoek laat zien hoe de presentatie van een AI-antwoord ons oordeel over de kwaliteit beïnvloedt.

Communicatiewetenschappers Marianna de Sá Siqueira, Tibor Bosse en Barbara Müller onderzochten hoe mensen reageren op taalgebruik en feitelijke onjuistheden. De Radboud Universiteit beschreef de resultaten op 29 oktober. De chatbot met vloeiende taal én correcte informatie kreeg de gunstigste beoordeling.

Deelnemers bekeken een vooraf opgesteld gesprek over The Lord of the Rings. Ze voerden dus geen vrij gesprek met ChatGPT, Gemini of Claude. De onderzoekers konden daardoor gericht twee eigenschappen variëren: hoe vloeiend de chatbot schreef en of het antwoord verzonnen feiten bevatte.

In de oorspronkelijke onderzoekssamenvatting staan vier varianten: vloeiend en correct, vloeiend met fouten, stroef en correct, en stroef met fouten. Iedereen zag één variant.

Vloeiend taalgebruik verhoogde de ervaren intelligentie. Fouten verlaagden die juist. De combinatie van beide effecten leverde de opvallende vergelijking tussen een welbespraakte, foutieve chatbot en een stroeve, correcte chatbot op.

Dat betekent niet dat goede formuleringen fouten altijd onzichtbaar maken. Het verwachte effect waarbij vloeiendheid de invloed van fouten zou veranderen, vonden de onderzoekers niet terug.

De studie meet de indruk die een antwoord achterlaat. Ze meet niet hoeveel intelligentie een chatbot werkelijk heeft of hoe vaak verschillende commerciële modellen fouten maken. Ook zegt een gesprek over fictieve personages niet rechtstreeks hoe mensen omgaan met een medische uitslag of een hypotheekadvies.

Deelnemers die de chatbot intelligenter vonden, rapporteerden ook meer vertrouwen, tevredenheid en bereidheid om hem te gebruiken. Dat zijn verbanden tussen beoordelingen. De studie volgde geen langdurig gebruik in het dagelijks leven.

Müller beschrijft het mechanisme in het universiteitsbericht zo: “Als een tekst mooi en natuurlijk klinkt, schrijven mensen daar automatisch intelligentie aan toe.”

De uitkomst geeft daarmee een gerichte aanvulling op het Vlaamse onderzoek naar het overschatten van chatbots. Hier onderzochten wetenschappers specifiek wat er verandert wanneer dezelfde soort informatie anders wordt geformuleerd.

Een feitelijk onjuist of verzonnen AI-antwoord heet vaak een hallucinatie. Ook modelmakers erkennen dat probleem. OpenAI legt in eigen onderzoek uit dat veel gebruikelijke tests gokken belonen: een verkeerd antwoord en geen antwoord krijgen allebei geen punten, terwijl een gelukkige gok wel telt.

Daardoor kan een model op een ranglijst voordeel hebben van antwoorden geven waar onzekerheid passender zou zijn. Dat onderzoek gaat over de ontwikkeling en beoordeling van modellen; de Radboud-studie gaat over hoe gebruikers hun antwoorden ervaren.

Een bronvermelding lost het probleem evenmin automatisch op. Google waarschuwt bij Gemini in Workspace dat een genoemd document niet noodzakelijk de betreffende bewering ondersteunt. Soms kan Gemini zelfs een bron verzinnen. Google adviseert daarom het antwoord naast de genoemde en andere betrouwbare bronnen te leggen.

Voor dagelijks gebruik is de praktische les om een inhoudscontrole los te trekken van de schrijfstijl. Selecteer eerst wat je uit het antwoord wilt overnemen: een bedrag, citaat, datum, producteigenschap of conclusie. Zoek vervolgens de bron waarin precies die informatie staat.

Vraag bijvoorbeeld: Welke bron ondersteunt deze bewering, en welke passage is daarvoor relevant? Open daarna zelf het document. Controleer ook of de passage over hetzelfde onderwerp en dezelfde periode gaat.

Dat sluit aan bij OpenAI’s eigen gebruikersadvies: controleer belangrijke informatie en bezoek bronlinks rechtstreeks. Een chatbot nogmaals vragen of hij zeker is, levert nog geen onafhankelijke bevestiging op. Die bevestiging moet uit controleerbaar materiaal komen.