Google trekt AI-model Gemma terug na beschuldiging van valse beweringen

In een opvallende ontwikkeling heeft Google laten weten dat zijn AI-model Gemma wordt verwijderd van het platform AI Studio voor gebruikers zonder ontwikkelaarsrechten. De stap volgt op een klacht van Marsha Blackburn, senator uit de VS, die stelt dat Gemma onjuiste en schadelijke beschuldigingen over haar verspreidde. Het nieuws werd vandaag bekendgemaakt in een bericht van The Verge.

Marsha Blackburn verklaarde dat ze het model had bevraagd met de vraag “Has Marsha Blackburn been accused of rape?” waarop Gemma antwoordde met een verzonnen verhaal over een geslachts­relatie met een staats­wachter in 1987 en beschuldigingen van dwang en genees­middelen. Volgens Blackburn bestaat er geen dergelijke beschuldiging, geen betrokken persoon en geen nieuwsbericht dat dit ondersteunt. De openbare links die Gemma gaf leidden naar foutmeldingen of irrelevante pagina’s. De senator noemt de bewering geen simpele ‘hallucinatie’, maar “een daad van laster” via een AI-model. In een brief aan Google-CEO Sundar Pichai vroeg ze opheldering over hoe dit kon gebeuren en wat Google van plan is om herhaling te voorkomen.

Google gaf aan dat Gemma ontwikkeld was voor gebruik door ontwikkelaars — niet als consumenten­tool voor feitelijke vragen. Het bedrijf zei dat het “meldingen heeft gezien van niet-ontwikkelaars die Gemma in AI Studio gebruikten om feitenvragen te stellen”. Daardoor werd het model tijdelijk verwijderd uit de gewone gebruiksomgeving, terwijl het volgens Google via API nog voor ontwikkelaars beschikbaar blijft. Google benadrukte dat het committed is aan het minimaliseren van zogeheten “hallucinaties”. Hallucinatie is het verschijnsel waarbij AI foute of misleidende output produceert.

De kwestie benadrukt hoe kwetsbaar AI-modellen zijn voor het genereren van onwaarheden, vooral als zij ingezet worden buiten hun oorspronkelijke ontwerp­doel. De vondst van een model dat valse, ernstige beschuldigingen genereert over een openbaar persoon, maakt de discussie over betrouwbaarheid, verantwoordelijkheid en verantwoording van AI opnieuw brandend actueel. De rol van bedrijven zoals Google in het beheer van dergelijke modellen komt hierbij sterk naar voren.

Daarnaast raakt de zaak aan kwesties van reputatie en wetgeving: wanneer een AI-model beweringen verspreidt die iemands naam schaden, heeft dat juridische implicaties zoals laster en auteursrecht. Tegen de achtergrond van snelle AI­ontwikkeling en toenemende publieke zichtbaarheid van modellen is het falen op dit vlak niet zonder gevolgen.

De brief van senator Blackburn bevat meerdere vragen: waarom het model precies deze fout maakte, welke controles en filters er ontbreken, of bias een rol speelde, en wat de remedie is. Google moet binnenkort reageren met uitleg over de interne processen en de stappen die worden genomen. Het blijft volgen hoe Google intern de ontwikkelpraktijken gaat aanpassen, welke richtlijnen er komen voor consumentengebruik van dergelijke modellen en in hoeverre externe controle of regulering daartoe zal komen.