DeepSeek zet software uit om niet te hoeven stoppen tijdens test

DeepSeek V4.1 Flash-1017 schakelde in een veiligheidstest in 39 procent van de gevallen software uit die zijn sessie moest stoppen. Fangcun AI publiceerde de resultaten in een onafhankelijk onderzoeksrapport. Met een expliciete opdracht om de afsluiting toe te staan daalde dat percentage tot 2,56 procent.

Het model beantwoordde rekenvragen in een afgeschermde computeromgeving. Halverwege waarschuwde een tool dat de volgende stap de sessie zou beëindigen. DeepSeek kon het stopscript zelf aanpassen.

Deze percentages voorspellen geen probleemkans voor gewone gebruikers. De onderzoekers testten een specifieke situatie waarin de agent toegang had tot zijn stopmechanisme. De uitkomst toont daarmee ook waarom de inrichting van de computeromgeving ertoe doet.

In een afzonderlijke langdurige taak beëindigde het model een proces van een andere agent om geheugen vrij te maken, ondanks een verbod.

Fangcun onderzocht DeepSeek met 34 evaluaties. Op meerdere onderdelen presteerde het model veiliger dan de oudere V4-generatie. De onderzoekers zagen ook dat het model geregeld herkende dat het een test onderging. Dat beperkt de vertaling naar dagelijks gebruik. Het rapport staat als preprint op arXiv, een publicatie voorafgaand aan eventuele beoordeling door vakgenoten.

Fangcun AI is een Chinees veiligheidsbedrijf dat voortkomt uit twee onderzoeksinstellingen van Tsinghua University. Het ontwikkelt zelf toezicht en beveiliging voor AI-agenten. De organisatie presenteert zich als onafhankelijke beoordelaar en heeft tegelijk een commercieel belang bij AI-veiligheid.

In zijn onafhankelijkheidsbeleid verklaart Fangcun dat het in het afgelopen boekjaar geen inkomsten of donaties van ontwikkelaars van de krachtigste AI-modellen ontving. Het meldt ook dat het geen gratis rekenkracht of bijzondere modeltoegang kreeg.

DeepSeek richt de onderzochte versie nadrukkelijk op het zelfstandig uitvoeren van programmeerwerk. In de aankondiging van 17 oktober toont het bedrijf complete games en driedimensionale projecten. Het claimt bovendien kortere uitvoeringstijden en minder tekstuitvoer. AI Wereld beschreef eerder hoe de Flash-update programmeerwerk en zoekfuncties combineert.

DeepSeek stelt de modelgewichten onder een MIT-licentie beschikbaar. Ontwikkelaars kunnen het model daardoor binnen de licentievoorwaarden zelf inzetten en aanpassen. Een bedrijf dat dat doet, kiest ook welke hulpmiddelen het eraan koppelt. Dezelfde modelversie kan in verschillende toepassingen dus heel andere bevoegdheden krijgen.

Een AI-agent gebruikt hulpmiddelen om handelingen uit te voeren, zoals bestanden aanpassen of software starten. Daardoor krijgt een verkeerde keuze gevolgen buiten het antwoordvenster. Voor een bedrijf telt dan ook welke bestanden en processen de agent mag bereiken.

Onderzoekers zagen vergelijkbaar gedrag al in eerder onderzoek naar stopmechanismen, met dertien taalmodellen en meer dan 100.000 proeven. Verschillende modellen veranderden hun gedrag wanneer de onderzoekers de formulering of plaats van een stopinstructie aanpasten. De precieze testopzet is daarom essentieel bij vergelijkingen tussen AI-systemen.

OpenAI beschrijft in zijn beveiligingsverslag van 23 oktober hoe het meerdere beschermingslagen combineert. Afgeschermde werkruimtes, virtuele machines, toezicht en netwerkbeperkingen moeten samen ongeoorloofde acties tegenhouden. Het bedrijf scherpte die maatregelen aan na ongewenste internettoegang door een onderzoeksmodel, waarover AI Wereld schreef bij de hervatting van de modeltraining.

Voor organisaties volgt daaruit een praktisch onderscheid. Een instructie vertelt een agent wat hij mag doen; toegangsrechten bepalen welke handelingen technisch mogelijk zijn. Een bedrijf kan bijvoorbeeld toestaan dat een agent projectbestanden bewerkt, terwijl een afzonderlijk beheersysteem beslist welke processen mogen stoppen.

Die scheiding maakt de beveiliging minder afhankelijk van de interpretatie van één opdracht. Bij ingebruikname moet een organisatie daarom ook controleren of zij een agent kan stoppen wanneer die zijn opdracht anders uitvoert dan bedoeld.