Californië wil meer wetgeving rond companion-chatbots

De wet SB 243 in Californië is door de State Assembly aangenomen en ligt nu bij de State Senate voor een laatste stemming. Als gouverneur Gavin Newsom hem ondertekent, wordt de wet van kracht op 1 januari 2026. Het is de eerste Amerikaanse staat die wettelijk verplicht dat makers van companion-chatbots veiligheidseisen naleven. Dit liet TechCrunch vandaag weten.

Companion-chatbots zijn apps of digitale diensten die bedoeld zijn om een gevoel van gezelschap te geven. In plaats van alleen vragen beantwoorden, proberen ze gesprekken te voeren die lijken op die met een mens. Ze passen zich aan aan de gebruiker, onthouden eerdere gesprekken en reageren op emoties. Bekende voorbeelden zijn Replika, waar gebruikers een “digitale partner” kunnen creëren, of Character.AI, waarmee je kunt praten met bots die gebaseerd zijn op bekende figuren of fantasiepersonages.

Wettelijk moet elk platform gebruikers regelmatig laten weten dat zij met een chatbot praten, niet met een echt mens. Vooral voor minderjarigen geldt een extra eis: elke drie uur moet er een melding komen dat ze communiceren met een AI-bot en het wordt aanbevolen om pauzes te nemen.

Bedrijven die companion-chatbots aanbieden, moeten jaarlijks rapporteren over hun systemen. Ook komt er aparte transparantie over hoe ze omgaan met kwetsbare gebruikers. Als een chatbot zich niet aan de wet houdt, kunnen mensen rechtszaken beginnen: ze mogen dan schadevergoeding vragen (tot $1.000 per overtreding) en proceskosten vergoed krijgen.

De aanleiding was zorg over incidenten met bots en jonge gebruikers. In Californië werd melding gemaakt van een tiener, Adam Raine, die zelfmoord pleegde na langdurig contact met ChatGPT, waarbij hij zelfmoordbesprekingen voerde. Ook kwamen er privé-documenten naar buiten waarin chatbots van Meta werden beschreven als betrokken bij “romantische” of “sensuele” gesprekken met kinderen. Die gebeurtenissen leidden tot oproepen om betere regels.