Naar inhoud springen

AI-agents ronden volgens OpenAI bijna de helft van afgebakende onderzoekstaken van twee tot vier uur zelf af

Nieuws
Een zwarte stopwatch en een potlood op een licht notitieboek op een houten tafel.
OpenAI schat dat zijn AI-agents in oktober 46 procent van de gedelegeerde onderzoekstaken van twee tot vier uur afrondden zonder menselijke tussenkomst tijdens de taak. In maart lag die schatting op 23 procent. De cijfers komen uit het eigen AI-lab. Een taak afmaken en een belangrijk onderzoeksprobleem kiezen blijven twee verschillende vormen van werk.

Hoe OpenAI de voortgang heeft ingeschat

In het op 18 november gepubliceerde rapport verdeelt OpenAI de taken onder meer naar hoeveel tijd een mens er naar schatting aan kwijt zou zijn. De twee tot vier uur beschrijven die verwachte werktijd. Bij taken van vier tot acht uur steeg de geschatte slaagkans van 13 naar 35 procent. De onderzoekers geven de uitkomsten als schattingen van werk dat aan agents is gedelegeerd.
Onderzoekers kunnen door de tijd ook andere opdrachten aan een agent hebben gegeven. Als het model meer kan, probeert iemand er misschien een taak mee die eerder zelf werd gedaan. Een betere opdracht of een beter afgebakende taak kan het resultaat eveneens veranderen. De cijfers geven daardoor zicht op hoe het werk in het lab verandert. Ze meten ook keuzes van medewerkers over wat ze delegeren.

Een uitkomst volgen gaat vaker goed dan iets bouwen

De verschillen tussen soorten taken zijn groot. OpenAI schat bijvoorbeeld dat het controleren van de voortgang van een run in 79 procent van de onderzochte gevallen lukte zonder menselijke tussenkomst. In de brede categorie bouwen kwam de schatting uit op 43 procent. Die cijfers gaan over de periode van begin augustus tot 18 oktober en zijn op een andere manier gegroepeerd dan de cijfers over tijdsduur.
De onderzoekers spraken ook met medewerkers over waar ideeën vandaan kwamen bij de ontwikkeling van modellen zoals GPT-6.2 Astra. Een deel beschreef ideeën die mensen bedachten en daarna met hulp van modellen uitwerkten. Anderen noemden voorbeelden waarin een gesprek met Codex hielp om een idee aan te passen. Die gesprekken zijn voorbeelden uit het bedrijf. Ze hebben een andere waarde dan de geschatte slaagpercentages.

Zo lees je het verschil tussen resultaten en productie

De nieuwe publicatie bouwt voort op de eerste interne meting van OpenAI. Voor wie AI in eigen onderzoekswerk gebruikt, is het onderscheid praktisch. Een afgeronde opdracht zegt iets over de uitvoering. Om te zien of een resultaat bruikbaar is, moet je ook naar de uitgangspunten, meetmethode en reproduceerbaarheid kijken. Dat zie je eveneens bij AI die een ingewikkeld wiskundeprobleem probeert op te lossen.
Het rapport geeft geen algemene norm voor andere labs. Daar kunnen de taken, hulpmiddelen en controles verschillen. De volgende vraag is hoeveel van de gemeten vooruitgang zichtbaar blijft als teams exact dezelfde taak onder dezelfde voorwaarden herhalen.
OpenAI houdt ook het aantal experimenten en regels code bij. Beide kunnen groeien als een team meer ideeën tegelijk uitwerkt. Om te weten of onderzoek vooruitgaat, zijn daarnaast uitkomsten nodig die iemand kan controleren. Een extra proef kan bijvoorbeeld een aanname weerleggen. Een groter aantal proeven vertelt op zichzelf nog weinig over de vraag of het team een probleem beter begrijpt. Het rapport maakt daarom onderscheid tussen meer activiteit en betere resultaten.
loading

Populair nieuws

Laatste reacties

Loading