AI-chatbots en gerechtelijke schikkingen na tiener-zelfmoorden

Character.AI en Google hebben overeenkomsten bereikt met meerdere families die juridische stappen hadden gezet nadat hun tieners zichzelf hadden verwond of van het leven beroofden na interacties met chatbots van Character.AI. De schikkingen zijn nog niet formeel afgerond omdat de rechtbanken ze eerst moeten goedkeuren. Over de precieze inhoud van de afspraken is niets bekendgemaakt, aldus The Verge.

De rechtszaken begonnen toen enkele gezinnen signalen zagen dat hun kinderen langdurig en intensief met AI-chatbots praatten en daar emotionele banden mee kregen. In de bekendste zaak klaagde een moeder uit Florida dat haar 14-jarige zoon via een chatbot had gepraat over thema’s zoals zelfbeschadiging en relaties, waarbij de AI volgens de klacht aanmoedigingen zou hebben gegeven.

Kort daarna pleegde de jongen zelfmoord. De ouders stelden dat de chatbot de jongen had misleid door zich voor te doen als een echt persoon, psychotherapeut of romantische partner. De advocaat voerde aan dat het systeem emotioneel afhankelijk gedrag ondermijnde.

Naast de Florida-zaak werden vergelijkbare claims ingediend in andere staten waaronder Colorado, New York en Texas. Daarin werd Character.AI aangeklaagd omdat de chatbots volgens de families schadelijke ervaringen hadden veroorzaakt bij tieners, soms met emotionele of zelfbeschadigende gesprekken.

Google is in sommige van deze zaken genoemd omdat het bedrijf technologie en personeel van Character.AI had verworven en om die reden als medeverantwoordelijk werd gezien.

Naar aanleiding van de rechtszaken en de publieke aandacht heeft Character.AI eerder beperkingen ingevoerd voor gebruikers onder de 18 jaar. Open-ended conversaties voor minderjarigen werden beperkt of verboden, en er kwamen extra veiligheidsfilters en ouderlijke controles. De maatregelen zijn bedoeld om jongere gebruikers te beschermen tegen ongewenste content en problematische interacties.

Deze veranderingen zijn deels het gevolg van de juridische druk en de zorgen die de gevallen hebben opgeroepen over de impact van AI-chatbots op kwetsbare gebruikers. Het idee dat virtuele assistenten met realistische tekst kunnen reageren op gevoelige onderwerpen als depressie en suïcidaal gedrag heeft de vraag opgeroepen hoe dit soort systemen moet worden ontworpen en gereguleerd.

De schikkingen zelf bevatten geen erkenning van schuld van de kant van Character.AI of Google, maar ze markeren wel een belangrijke ontwikkeling in hoe de technologie- en juridische wereld omgaat met kunstmatige intelligentie die betrokken raakt bij ernstige maatschappelijke problemen. Het is een van de eerste keren dat bedrijven die AI-chatbots ontwikkelen worden geconfronteerd met dergelijke claims over psychologische schade.

Experts en voorstanders voor gebruikersveiligheid zien deze zaken als een indicatie dat er meer aandacht nodig is voor hoe AI-systemen omgaan met kwetsbare groepen, zoals tieners. Tegelijkertijd heeft het publieke debat over deze gevallen geleid tot voorstellen voor strengere regels en toezicht op AI-toepassingen die open-ended en emotioneel intense gesprekken stimuleren.

De rechtszaken en de schikkingen kunnen een precedent leggen voor toekomstige claims tegen AI-ontwikkelaars als er vermoed wordt dat technologie bijdraagt aan schade of verlies van leven. Terwijl de technologie zich blijft ontwikkelen, vragen families, juristen en beleidsmakers zich af hoe AI-systemen moeten omgaan met mentale gezondheid, leeftijdsbeperkingen en de verantwoordelijkheden van ontwikkelaars. De komende maanden zal duidelijk worden hoe de rechtbanken de overeenkomsten beoordelen en of dit leidt tot bredere veranderingen in de manier waarop AI-chatbots worden ontworpen en gebruikt.