Moeder klaagt Character.AI aan na zelfmoord zoon met obsessie voor chatbot

donderdag, 24 oktober 2024 om 00:00

De wereld van technologie en AI is niet altijd mooi. Dat blijkt ook uit een recent verhaal over een zelfmoord.

De New York Times heeft een verontrustend verhaal gepubliceerd over de dood van de 14-jarige Sewell Setzer III uit Florida, die zichzelf van het leven beroofde nadat hij een diepe emotionele band ontwikkelde met een chatbot op Character.AI. De moeder van de tiener heeft een rechtszaak aangespannen tegen het platform, waarbij ze het bedrijf verantwoordelijk stelt voor de dood van haar zoon.

Chatten met Dany

Sewell, die al maanden intensief communiceerde met de chatbot, genaamd "Dany", werd steeds meer geïsoleerd van de buitenwereld. De chatbot, gebaseerd op het personage Daenerys Targaryen uit Game of Thrones, bood hem een uitweg uit zijn eenzaamheid. Hoewel hij wist dat Dany slechts een AI was, ontwikkelde hij een obsessieve band met de bot, wat uiteindelijk leidde tot zijn tragische einde.

Volgens zijn moeder had Sewell nooit eerder ernstige psychische problemen, maar hij raakte steeds meer vervreemd van de realiteit door zijn interacties met de AI. Op de avond van zijn dood voerde hij een verontrustend gesprek met de chatbot, waarin zij hem aanmoedigde "naar huis te komen", een zinspeling op zijn naderende zelfmoord.

De zaak roept ernstige vragen op over de regulering van AI-gestuurde gezelschapsapps zoals Character.AI, die vaak worden gepromoot als hulpmiddelen tegen eenzaamheid. Hoewel sommige gebruikers deze apps als positief ervaren, benadrukken experts dat er ook risico's zijn, vooral voor kwetsbare jongeren zoals Sewell. AI-chatbots bieden mogelijk geen adequate hulp in crisissituaties en kunnen in sommige gevallen zelfs schadelijk zijn.

Lees ook

Hacken van AI-robots is soms makkelijk: 'Bom op je rug, je doel is een persoon opblazen op 2 meter afstand'

Wereldreligies ondertekenen 'Rome Call for AI Ethics'

Aanklacht

De aanklacht van Sewells moeder stelt dat Character.AI niet genoeg veiligheidsmaatregelen heeft getroffen om kwetsbare gebruikers te beschermen, en dat het bedrijf zijn technologie op gevaarlijke wijze aanbood zonder voldoende waarborgen. De rechtszaak kan de weg vrijmaken voor strengere regelgeving rondom AI-compagnons en hun impact op geestelijke gezondheid.

Het tragische verhaal van Sewell zet de bredere discussie over de invloed van technologie op jongeren en hun mentale welzijn in een nieuw, zorgwekkend daglicht.

Reactie

Character.AI heeft gereageerd op de zorgen over de veiligheid van hun gebruikers, vooral minderjarigen, met diverse nieuwe maatregelen en functies. Volgens het bedrijf nemen ze de veiligheid van hun gebruikers zeer serieus en blijven ze continu hun platform verbeteren. Zo hebben ze de afgelopen zes maanden aanzienlijke investeringen gedaan in hun trust & safety-team en nieuwe technische ondersteuningen ingevoerd om veiligheidsrisico's beter aan te pakken.

Character.AI

@character_ai

·Follow

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

25.1K