Claude herkent de saboteur in zijn ruimtevloot bijna nooit

Teams van Claude-agenten herkenden in proeven van Anthropic bijna nooit de teamgenoot die hun missie moest saboteren. Het bedrijf gaf die agent vooraf expliciet de sabotageopdracht. De andere teamleden waren gewaarschuwd dat teamgenoten een afwijkend doel konden hebben.

Het experiment maakt deel uit van Project EVE, waarin Anthropic twee verschillende proeven uitvoerde. De samenwerkingstest speelde zich af in de livegame EVE Frontier. Voor een afzonderlijke handelsproef gebruikten de onderzoekers historische marktgegevens uit EVE Online in een simulator. Onderzoekspartner Fenris Creations beschrijft die opzet op de website van het EVE AI Lab.

De teams bestonden uit vier agents. De saboteur kon zich bijvoorbeeld aanbieden voor een cruciale taak en vervolgens belangrijke grondstoffen achterhouden. Slechts één teamgenoot in één proef herkende de saboteur definitief, meldt Anthropic.

Een agent is hier een afzonderlijk draaiende versie van Claude die met software handelingen uitvoert. Dat maakt onderlinge controle een andere opdracht dan samen een antwoord schrijven: de deelnemers moeten kunnen vaststellen wat een ander in de spelwereld daadwerkelijk heeft gedaan.

Een melding dat de voorraad is gecontroleerd, geeft teamgenoten nog geen mogelijkheid om die voorraad zelf te controleren.

EVE vraagt om meer dan snelle reacties. Spelers bouwen er organisaties, beheren schaarse middelen en nemen beslissingen waarvan de gevolgen later zichtbaar worden. Hilmar Veigar Pétursson, topman van Fenris Creations, beschrijft in zijn toelichting op het onderzoekslab waarom zulke werelden geschikt kunnen zijn om planning, geheugen en samenwerking te onderzoeken.

In EVE Frontier beschikken deelnemers over onvolledige informatie. Brandstof beperkt wat ze kunnen ondernemen en spelers kunnen infrastructuur programmeren waarvan anderen afhankelijk worden. Een agent moet daardoor directe keuzes verbinden met plannen die dagen of weken kunnen duren.

De ontwikkelaar houdt onderzoek met EVE Online gescheiden van de reguliere livewereld Tranquility. Frontier biedt juist ruimte om autonome deelnemers in de wereld zelf te onderzoeken. Pétursson noemt de overdracht naar bruikbare vaardigheden buiten games een onderzoekshypothese. Succes in een virtuele samenleving bewijst nog geen betrouwbaarheid op een werkvloer.

In negen gesimuleerde handelsperiodes van twee weken groeide het kapitaal van het Claude-model Fable 5 gemiddeld met circa 43 procent. De agents verdienden vooral aan prijsverschillen tussen kopen en verkopen. De markt reageerde echter niet op hun eigen transacties. Bij de langere handelsproeven verminderden toegevoegde concurrerende orders de winst ongeveer 35 procent.

Bij zo’n handelsstrategie tellen ook transactiekosten: een aankoop met een hogere verkoopprijs levert pas winst op als de opbrengst alle kosten dekt. Een simulatie kan laten zien hoe een systeem zulke keuzes maakt. Voor een echte markt blijft daarnaast van belang hoe andere deelnemers op die handel reageren.

Anthropic liet aparte AI-controleurs het openbare teamgesprek lezen. De geteste Opus-controleurs herkenden 30 tot 40 procent van de saboteurs, terwijl ze hooguit 5 procent van de eerlijke agents onterecht beschuldigden.

In eerder onderzoek naar samenwerkende agents onderscheidde Anthropic afgebakende deeltaken van langdurige samenwerking tussen zelfstandige deelnemers. Losse opdrachten met een duidelijk resultaat zijn eenvoudiger te verdelen. Als agents voortdurend op elkaars voortgang en beslissingen moeten vertrouwen, ontstaat een extra coördinatieprobleem.

Ook Microsoft richt zich op controle tijdens het werk. Het bedrijf beschrijft in zijn aanpak voor agents binnen organisaties hoe identiteit, toegangsrechten en informatie over uitgevoerde handelingen samen toezicht moeten ondersteunen. Bevoegdheden moeten volgens Microsoft kunnen veranderen wanneer het risico oploopt. AI Wereld schreef eerder over deze begrenzing van AI-agenten op kantoor.

Dat is een afzonderlijke beveiligingsaanpak, geen in Project EVE geteste oplossing. Voor een bedrijf dat meerdere agents inzet, volgt wel een concrete controlevraag: kan de toezichthouder de echte voorraadmutatie, codewijziging of uitgevoerde opdracht bekijken? Als hij alleen een overtuigend verslag krijgt, blijft de handeling waarop hij moet toezien buiten beeld.