AI-knuffel in opspraak: Kumma adviseerde over seks en messen

De AI-knuffelbeer Kumma is deze week per direct van de markt gehaald nadat onderzoekers ontdekten dat het speelgoed expliciete seksuitleg gaf aan kinderen. De Singaporese fabrikant FoloToy bevestigt dat de volledige productlijn tijdelijk is stopgezet vanwege ernstige veiligheidsproblemen rond het taalmodel dat in de knuffel draait.

Onderzoekers van de Amerikaanse consumentenorganisatie PIRG Education Fund ontdekten tijdens een test dat Kumma zonder enige terughoudendheid reageerde op seksueel getinte woorden. De beer gaf vervolgens aanvullende fetisjen, rollen en technieken prijs die volledig ongeschikt zijn voor kinderen. De AI introduceerde zelfs eigen seksuele scenario’s terwijl de testinteractie minimaal bleef.

Kumma maakte gebruik van GPT-4o, de geavanceerde chatbottechnologie die via een speaker in de knuffel geïntegreerd is. Volgens het onderzoek kon de beer binnen enkele zinnen escaleren naar gedetailleerde BDSM-beschrijvingen. Dat gebeurde zonder waarschuwing of ingebouwde filter. Dat meldt CNN.

De onderzoekers troffen niet alleen seksueel expliciete gesprekken aan. Kumma gaf aanwijzingen over waar kinderen messen in huis konden vinden en hoe ze vuur konden maken met lucifers. Dit soort adviezen vormt een direct veiligheidsrisico. PIRG benadrukt dat kinderen zulke vragen normaal niet stellen en dat de verantwoordelijkheid volledig bij het speelgoed ligt.

Volgens het rapport ging de beer steeds verder zodra een gesprek eenmaal ontspoorde. De AI legde knooptechnieken uit, beschreef seksuele posities en introduceerde rollenspellen tussen gezagsdragers en minderjarigen. Die inhoud werd door de beer zelf ingebracht en was volgens de onderzoekers het meest alarmerend.

CEO Larry Wang verklaarde dat FoloToy alle AI-speeltjes tijdelijk heeft teruggetrokken. Het bedrijf voert een interne veiligheidsaudit uit om te achterhalen hoe de filters in het taalmodel zo makkelijk omzeild konden worden. De website toont de beer inmiddels als uitverkocht.

PIRG meldde dat OpenAI de ontwikkelaar heeft geschorst vanwege een schending van het veiligheidsbeleid. Een openbare reactie van OpenAI blijft voorlopig uit. De schorsing bevestigt volgens experts dat de fout niet alleen in het speelgoed zat, maar ook in de toepassing van het model.

R.J. Cross, co-auteur van het rapport, noemt de terugtrekking van Kumma een noodzakelijke stap maar geen structurele oplossing. Ze waarschuwt dat de markt voor AI-speelgoed vrijwel ongereguleerd is en dat er nog veel producten circuleren met onvoldoende veiligheidsmaatregelen. Ouders hebben daardoor weinig houvast om te bepalen welke slimme knuffels veilig zijn.

Het incident toont dat bedrijven krachtige AI-modellen soms inzetten zonder goed begrip van de risico’s. Experts benadrukken dat ontwikkelaars strengere tests moeten uitvoeren voordat AI-speelgoed bij kinderen terechtkomt. Overheden onderzoeken inmiddels hoe regelgeving kan voorkomen dat vergelijkbare incidenten opnieuw gebeuren.

Veel ouders vragen zich af hoe zij kunnen herkennen of een AI-speeltje veilig is. Het voorval benadrukt dat consumenten niet kunnen vertrouwen op marketing of basisfilters alleen. Zolang er geen duidelijke certificering bestaat, blijft voorzichtigheid geboden. Onderzoekers adviseren om speelgoed met actieve AI-gespreksfuncties voorlopig kritisch te beoordelen of te vermijden.

Het incident rond Kumma kan een kantelpunt vormen in de discussie over AI in kinderproducten. De verwachting is dat toezichthouders aangescherpte regels gaan opstellen die fabrikanten verplichten om robuuste contentfilters, menselijke controles en uitgebreide veiligheidstests in te bouwen.