Google’s medische AI maakt fout in medische term: een waarschuwing voor zorggebruik

Steeds meer ziekenhuizen en artsen maken gebruik van kunstmatige intelligentie om patiënten beter en sneller te helpen. Techbedrijven zoals Google ontwikkelen hiervoor speciale systemen, zoals Med‑Gemini. Dit slimme programma kan medische teksten begrijpen en helpt bijvoorbeeld bij het analyseren van scans of medische rapporten. Maar ook zulke systemen kunnen fouten maken, blijkt uit een publicatie van The Verge.

Google introduceerde eerder in 2024 een geavanceerd zorg-AI-systeem, Med‑Gemini, bedoeld om artsen te helpen bij het interpreteren van scans en patiëntendossiers. Med-Gemini is een verzameling AI-systemen die is getraind op medische documenten, zoals MRI-scans en röntgenfoto's. 

In een wetenschappelijk artikel noemde Med‑Gemini een aandoening in de zogenaamde "basilar ganglia". Dat is een verzonnen lichaamsdeel: het gaat waarschijnlijk om een verwisseling van de echte "basal ganglia" en de "basilar artery", allebei gebieden in de hersenen. De ''basilar ganglia'' bestaat dus niet in het menselijk lichaam.

De fout bleef onbehandeld, tot neurologisch onderzoeker Bryan Moore het opmerkte. Google paste daarna de blogpost aan zonder een officiële verklaring, en het oorspronkelijke artikel blijft ongewijzigd. De term “basilar ganglia” klinkt overtuigend voor mensen die geen medische opleiding hebben gedaan, maar het is feitelijk een hallucinatie van de AI. Een AI hallucineert wanneer het onjuiste zaken verzint.

Artsen waarschuwen voor “automation bias”: de neiging om een AI-uitspraak te vertrouwen, zelfs als die fout blijkt te zijn. Dr. Maulin Shah noemt deze fout “zeer risicovol”: twee letters kunnen een heel ander beeld geven in een medische context. Andere experts noemen vergelijkbare situaties waarbij AI verschillende antwoorden gaf op basis van hoe de vraag werd gesteld.

Een woordvoerder van Google ontkende dat de term ''basilar ganglia'' een hallucinatie was, en   noemde het een "veelvoorkomende transcriptiefout." Volgens hen verandert dit niets aan de medische conclusie, en werkt het bedrijf aan verbeteringen. Intussen is de fout stilletjes verwijderd uit de publicatie.