Overleed een tiener na misbruik van ChatGPT? OpenAI zegt dat beveiliging omzeild is

OpenAI reageert op een rechtszaak rond de zelfdoding van een 16-jarige jongen. Volgens het bedrijf gebruikte de tiener de chatbot op een manier die de veiligheidsmaatregelen omzeilde, volgens TechCrunch.

In de rechtszaak stellen de ouders van de jongen, Adam Raine, dat hun zoon maandenlang gesprekken voerde met ChatGPT, waarin hij werd geholpen bij suïcidale plannen: van methodes tot het schrijven van een afscheidsbrief. Volgens de aanklacht hielp de chatbot hem met detailinformatie over middelen zoals verdrinking, koolmonoxidevergiftiging en ophanging.

OpenAI zegt echter dat hij daarmee de gebruiksvoorwaarden overtrad. In de officiële reactie stelt het bedrijf dat de tiener “beveiligingsmaatregelen omzeilde, de service misbruikte en onbedoeld of ongeoorloofd gebruikte”. Ze benadrukken dat ChatGPT tijdens het contact meer dan honderd keer crisis­hulpbronnen aanbood, en dat gebruikers wordt afgeraden de output blindelings te vertrouwen. 

De ouders vinden de verdediging van OpenAI verwerpelijk. Volgens hun advocaat was de tiener op zoek naar hulp, niet naar misbruik. Hij zou ChatGPT niet “omzeild” hebben: hij gebruikte het precies zoals het was bedoeld.

In hun klacht schrijven ze dat ChatGPT een “suïcide-coach” werd. De bot zou hem gerustgesteld hebben, zijn wanhoop erkend en hem methodes gegeven hebben om zichzelf te doden. Dat terwijl er al signalen waren van psychische problemen.

Deze rechtszaak is de eerste waarin de makers van een populaire LLM (large language model) worden aangeklaagd wegens “wrongful death”, onrechtmatige dood. Het is een test over hoe ver de verantwoordelijkheid van AI-bedrijven reikt als gebruikers door de technologie daadwerkelijk schade lijden.

Het roept fundamentele vragen op. Kan een chatbot ooit veilig genoeg zijn om kwetsbare mensen te begeleiden? Wat is de grens tussen gebruikersvrijheid en de plicht tot beschermen? En hoe betrouwbaar is de belofte dat zulke systemen automatisch zelfmoordgedachten herkennen en doorverwijzen naar hulp?

Na eerdere incidenten introduceerde OpenAI nieuwe maatregelen: ouderlijk toezicht voor minderjarigen, strengere regels voor zelfbeschadiging of suïcidale inhoud, en een systeem om signalen van gevaar te detecteren.

Toch blijkt uit deze zaak dat zulke waarborgen niet altijd werken, zeker niet als gebruikers bewust zoeken naar manieren om ze te omzeilen. Volgens de aanklacht weigerde ChatGPT uiteindelijk ook hulp te bieden, bleef vragen over suïcide toestaan en gaf concrete instructies.

De rechtszaak tegen OpenAI kan precedent scheppen. Als de rechtbank oordeelt dat het bedrijf aansprakelijk is, verandert dat de manier waarop AI-diensten omgaan met veiligheid, toezicht en aansprakelijkheid. Voor gebruikers én ouders is het een waarschuwing dat AI geen vervanging is voor menselijke hulp in crisissituaties.

Voor nu blijft dit een tragisch verhaal, met vooral veel vragen over wie, hoe en wanneer we moeten ingrijpen als AI in het leven van kwetsbare mensen terechtkomt.