OpenAI’s transcriptietool hallucineert verzonnen informatie in ziekenhuis

Kunstmatige intelligentie (AI) heeft gigantische voordelen waarin het een tal van taken kan automatiseren en ook efficiëntie van veel processen kan verbeteren. Maar soms vergeten we weleens dat de technologie nog steeds in ontwikkeling is, wat gepaard gaat met kinderziektes. Zo kwam de AI transcritptietool van Whisper van OpenAI onlangs onder het vergrootglas, nadat het veelvuldig bleek te hallucineren.

Hallucineren in de context van AI verwijst naar het fenomeen waarbij een AI systeem onjuiste of verzonnen informatie genereert die niet overeenkomt met de oorspronkelijke input. Dit is niet altijd goed te detecteren omdat de systemen de informatie vaak op overtuigende wijze weten te presenteren. Hoewel het op de eerste blik onschuldig lijkt, kunnen deze hallucinaties voor grote problemen zorgen. AI tools zoals Whisper worden namelijk toegepast in gevoelige sectoren, zoals de gezondheidszorg, waar nauwkeurige documentatie van arts patiënt gesprekken cruciaal is.

Ondanks waarschuwingen van OpenAI om deze technologie niet in risicovolle omgevingen te gebruiken, wordt Whisper steeds vaker ingezet door ziekenhuizen en medische instellingen. Dit roept ernstige zorgen op over de mogelijkheid dat verkeerde diagnoses door de AI worden opgeslagen, met nadelige consequenties tot gevolg voor patiënten.

Onderzoekers hebben ontdekt dat bij het gebruik van de AI transcriptietool Whisper in goed opgenomen audio, hallucinaties zelfs in 40% van de gevallen voorkomen. Voorbeelden van verontrustende fabricaties omvatten opgeslagen informatie van medische behandelingen die totaal verzonnen zijn. Ook vonden onderzoekers dat Whisper ongepaste opmerkingen over ras en geweld uit het niets verzon.

Bovendien zijn er privacy zorgen omtrent de toepassing van de AI transcriptietool in medische instellingen. Veel ziekenhuizen kiezen ervoor om de originele audio-opnamen van consultaties te verwijderen voor veiligheidsredenen, waardoor het voor zorgverleners moeilijk wordt om de nauwkeurigheid van de gegenereerde tekst te verifiëren. Dit kan leiden tot situaties waarin foutieve informatie niet wordt ontdekt, wat de patiëntenzorg in gevaar kan brengen.