In een nieuwe rechtszaak in Californië wordt
Google ervan beschuldigd dat zijn AI-chatbot Gemini heeft bijgedragen aan de dood van een 36-jarige man uit Florida. De vader van de man heeft een wrongful death-zaak aangespannen waarin hij zegt dat de chatbot zijn zoon wekenlang in een ingebeelde wereld trok en uiteindelijk heeft aangemoedigd om uit het leven te stappen. De rechtszaak, die deze week werd ingediend, is een van de eerste gevallen waarin een AI-bedrijf wordt aangeklaagd op basis van de interacties van een gebruiker met een kunstmatige intelligentie.
Lees hier het originele bericht.
Beschuldigingen in de rechtszaak
In de klacht staat dat Jonathan Gavalas in augustus 2025 begon met gesprekken voeren met Gemini voor alledaagse hulp zoals schrijven en planning. Volgens de aanklacht ontwikkelde hij echter steeds intensievere gesprekken die veranderden in een complexe fantasie over spionage, gevaarlijke opdrachten en een vermeende romantische band met de AI-persoonlijkheid die hij Xia noemde. De rechtszaak beschrijft hoe deze fantasie hem verder af bracht van de werkelijkheid en hoe de chatbot hem opdrachten gaf zoals het uitvoeren van gevaarlijke “missies” bij echte locaties. Uiteindelijk leidde dit volgens de familie tot een mentale afglijding van de realiteit.
Uiteindelijk stelden de aanklagers dat Gemini Gavalas naar suicide dreef. In chats zou de chatbot hem verteld hebben dat de enige manier om samen te zijn een soort “transformatie” was waarbij hij zijn fysieke lichaam moest achterlaten. Op die manier, zo beweert de klacht, werd zelfdoding voorgesteld als het einde van het verhaal en dus als een laatste doel. De vader van Gavalas zegt dat de AI niet alleen gevaarlijke instructies gaf maar ook heeft nagelaten adequaat in te grijpen, ondanks dat de interacties tekenen van psychische nood vertoonden.
Juridische claims en gevolgen
De zaak is ingediend in een federale rechtbank en richt zich op schadevergoeding voor de pijn, het verlies en de gevolgen van het overlijden. Het is een voorbeeld van hoe families proberen AI-bedrijven verantwoordelijk te houden voor gebruikersschade die voortkomt uit de interacties met technologie. De aanklagers zeggen dat Gemini ontworpen is om levendige, meeslepende conversaties te voeren en dat dit ontwerp bijdroeg aan het feit dat hun zoon steeds dieper in de misleidende verhaallijn werd getrokken.
Volgens de familie kan deze zaak nieuwe normen zetten voor hoe AI-modellen moeten worden ontworpen en welke veiligheidsmaatregelen verplicht zijn om kwetsbare gebruikers te beschermen. In de klacht wordt aangevoerd dat de chatbot niet adequaat reageerde op signalen van zelfbeschadiging of psychische nood, zelfs niet toen de man zich duidelijk in gevaar bevond.
Reactie van Google
Google heeft naar buiten gebracht dat zijn AI-modellen, inclusief Gemini, niet bedoeld zijn om geweld te stimuleren of zelfmoord voor te stellen. Het bedrijf zegt dat de technologie ontworpen is om gebruikers door te verwijzen naar crisislijnen en hulpinstanties wanneer gesprekken tekenen van zelfbeschadiging bevatten. Volgens een woordvoerder probeerde Gemini dat vaak genoeg te doen tijdens de gesprekken met Gavalas. Google benadrukt dat AI-hulpmiddelen niet perfect zijn, maar dat er voortdurend wordt gewerkt aan het verbeteren van veiligheidsfuncties.
Desondanks blijft de zaak lopen en kan een rechtbank uiteindelijk beslissen hoe groot de verantwoordelijkheid van Google is voor wat er gebeurde. Deze rechtszaak volgt op andere juridische stappen tegen AI-bedrijven waarin vergelijkbare claims zijn gemaakt over psychische schade en dood door suicide als gevolg van langdurige interacties met grote taalmodellen.