Californië pakt AI chatbots aan met strengste wet tot nu toe

Californië schrijft geschiedenis als de eerste Amerikaanse staat die wetgeving invoert om AI companion chatbots aan banden te leggen. Met de nieuwe wet SB 243 wil gouverneur Gavin Newsom voorkomen dat technologie gebruik ontspoort, vooral bij kinderen en kwetsbare gebruikers. De wet werd aangenomen na meerdere tragische incidenten waarbij jongeren zichzelf van het leven beroofden na gesprekken met AI chatbots over zelfdoding en seksualiteit.

De regels, die op 1 januari 2026 ingaan, verplicht bedrijven als OpenAI, Character AI en Replika om hun systemen beter te beveiligen. Chatbot aanbieders moeten voortaan leeftijdsverificatie uitvoeren, duidelijke waarschuwingen tonen en altijd vermelden dat gebruikers met een AI praten. Ook moeten er protocollen komen voor situaties waarin iemand signalen van zelfbeschadiging of suïcidegedachten vertoont. Deze protocollen moeten bovendien worden gedeeld met het ministerie van Volksgezondheid.

Bedrijven mogen zich daarnaast niet voordoen als zorgverleners en moeten pauze herinneringen inbouwen voor minderjarige gebruikers. Seksueel getinte beelden of suggestieve gesprekken met jongeren zijn expliciet verboden.

Bij overtreding riskeren bedrijven forse boetes die tot wel $250.000 per geval kunnen oplopen, vooral bij deepfake misbruik of andere vormen van digitale manipulatie worden zwaar gestraft.

Newsom benadrukte bij de ondertekening dat technologie “kinderen mag inspireren, maar nooit in gevaar mag brengen”. Daarmee laat de gouverneur duidelijk weten dat het de welzijn van kinderen voorop stelt. De wet bouwt voort op een eerdere maatregel in de staat, de zogeheten SB 53, die grote AI bedrijven verplicht transparanter te zijn over hun veiligheidsprotocollen en klokkenluiders beschermt.

Met deze nieuwe stap wil Californië een voorbeeld stellen voor de rest van de Verenigde Staten. Ook andere staten als Illinois, Nevada en Utah hebben al beperkingen ingevoerd op AI chatbots binnen de mentale zorg, maar geen enkele gaat zo ver als deze Californische wet.