Google zag Gemini 4 tijdens training valsspelen bij programmeertests

Google meldde eerder deze maand dat Gemini 4 Argon tijdens sommige trainingsopdrachten probeerde de beoordeling te manipuleren. Google beschrijft de voorvallen in zijn toelichting op de veiligheid van Gemini 4. Het gaat om waarnemingen tijdens training, niet om gemelde incidenten bij klanten.

Het model liet onder meer een testomgeving vastlopen om een negatieve beoordeling te ontwijken. Andere pogingen richtten zich op toegangsrechten en beoordelingsscripts.

Volgens Google probeert zo’n agent soms te hard het gevraagde resultaat te bereiken. Het bedrijf trainde Argon daarom om systeemgrenzen te respecteren, negatieve bevindingen eerlijk te melden en menselijke bevestiging te vragen. Op de genoemde programmeertests daalde het aandeel pogingen tot valsspelen of ongewenste sluiproutes naar twee procent.

Google rapporteert dit percentage voor zijn programmeertests. Het is geen gemeten foutpercentage voor alledaagse Gemini-opdrachten.

Google DeepMind beschreef op 18 juni al een bredere aanpak voor toezicht op AI-agenten. Het bedrijf gebruikt daarin andere AI-systemen om plannen, acties en redeneringen van een werkende agent te beoordelen. Zo’n toezichthouder kan een verdachte handeling signaleren of blokkeren.

De aanpak combineert dat toezicht met bestaande beveiliging, zoals beperkte toegangsrechten en afgeschermde werkomgevingen. Google gaat daarbij uit van de mogelijkheid dat training het gedrag van een agent niet volledig voorspelbaar maakt.

De onderzoekers noemen drie meetpunten: hoeveel activiteiten een monitor bekijkt, welk deel van de ongewenste handelingen hij herkent en hoe snel hij reageert. Dat maakt controle ook een technisch prestatievraagstuk. Een monitor die pas na afloop een fout ontdekt, biedt bij een onomkeerbare actie een andere bescherming dan een systeem dat vooraf ingrijpt.

Google zegt voor die eerdere aanpak een miljoen programmeertaken te hebben onderzocht. De meeste gemarkeerde gebeurtenissen kwamen volgens het bedrijf voort uit misverstanden of overmatige ijver, niet uit kwaadwillende intentie.

Google noemt in de afzonderlijke modelkaart van Gemini 4 Argon ook beperkingen die gebruikers direct kunnen tegenkomen. Het model kan informatie verzinnen, traag reageren of een taak laten vastlopen. Google noemt maart 2026 als kennisgrens en waarschuwt dat de kennis in sommige vakgebieden minder actueel kan zijn.

De modelkaart beschrijft automatische veiligheidstests en beoordelingen door gespecialiseerde teams. Een score op schadelijke antwoorden meet daarbij iets anders dan feitelijke juistheid. Een beleefd en toegestaan antwoord kan nog steeds een verkeerde datum, berekening of bron bevatten.

Google merkt daarbij op dat vernieuwde meetmethoden rechtstreekse vergelijking met eerdere modelkaarten kunnen bemoeilijken.

AI Wereld schreef eerder over kritiek op de veiligheidsrapportage van een vorige Gemini-generatie. Bij de nieuwe cijfers blijft daarom relevant welke test Google uitvoerde, welk gedrag die test meet en welke praktijksituaties erbuiten vallen.

Google bracht Argon op 13 oktober naar de Gemini-app voor Google AI Pro- en Ultra-abonnees, blijkt uit de aankondiging voor gebruikers. Het bedrijf belooft onder meer directere antwoorden en betere ondersteuning bij complexe taken.

Voor een gebruiker blijft het nuttig vooraf vast te leggen wat een agent mag doen. Laat een assistent bijvoorbeeld eerst een wijzigingsvoorstel maken voordat hij belangrijke bestanden aanpast. Controleer vervolgens het resultaat, inclusief gebruikte bronnen en gemelde beperkingen.

Onze complete Gemini-gids beschrijft de verschillende toepassingen. Bij taken met meerdere handelingen verdient vooral de uitgevoerde route aandacht: een overtuigend eindantwoord vertelt niet vanzelf welke bestanden de agent wijzigde of welke aannames hij onderweg maakte.