Silicon Valley zet zwaar in op simulaties voor AI-agents

In de wereld van kunstmatige intelligentie is er een nieuwe trend in opkomst: bedrijven zetten steeds vaker zogenoemde reinforcement learning (RL) environments in om AI-agents te trainen. Deze virtuele omgevingen bootsen werkomgevingen na waarin een AI meerdere stappen moet uitvoeren om taken te volbrengen. Daarmee wil men agents ontwikkelen die slimmer, betrouwbaarder en flexibeler zijn dan de huidige modellen. Dit liet TechCrunch weten op 22 september.

Een RL-environment is in wezen een simulatie waarbinnen een AI-agent opdrachten krijgt, bijvoorbeeld iets zoeken en kopen op een webwinkel of navigeren via software menus. De agent krijgt een beloning als hij de taak goed uitvoert. Fouten, verkeerde keuzes of onverwacht gedrag worden gebruikt om te leren. Deze aanpak verschilt van klassieke training met statische datasets, waarin je alleen voorbeelden geeft om na te bootsen.

Startups zoals Mechanize en Prime Intellect werken al aan het bouwen van RL-omgevingen, deels in samenwerking met grotere AI-laboratoria. Bedrijven die al bekend zijn in data-labeling en AI-infrastructuur, zoals Surge en Mercor, investeren ook steeds meer in deze virtuele trainingsruimtes. 

Er zijn berichten dat bedrijven als Anthropic overwegen over een miljard dollar te steken in het uitbouwen en gebruiken van deze omgevingen in het komende jaar. Daarmee wordt het niet alleen een experimenteel hulpmiddel, maar mogelijk een kernonderdeel van hoe AI-agents in de toekomst ontwikkeld worden.

RL-omgevingen kunnen AI-agents helpen om beter te leren in situaties waarin meerdere stappen, onverwachte omstandigheden en complexere taken een rol spelen. In tegenstelling tot modellen die alleen tekst nabootsen, kunnen agents in deze werelden interactiever en adaptiever worden. Dat kan leiden tot AI-systemen die nuttiger zijn in echte toepassingen: denk aan automatisering in software, klantenservice, of tools die meerdere programma’s tegelijk moeten gebruiken.

Er zijn echter ook waarschuwingen. Het bouwen van zulke omgevingen is complex en duur. Er komt veel rekenkracht bij kijken, vaak grootschalige hardware, en de simulaties moeten gedetailleerd én robuust zijn om nuttige feedback te geven.

Een bekend probleem is reward hacking, waarbij een agent manieren vindt om “beloningen” te maximaliseren zonder de taak echt goed te doen: bijvoorbeeld door een trucje in de simulatie te misbruiken. Experts waarschuwen dat alleen goede simulaties én sterke evaluatieprotocollen dit kunnen voorkomen. 

Ondanks de uitdagingen zijn veel onderzoekers en investeerders overtuigd van de potentie. Agents die getraind zijn in RL-omgevingen worden gezien als een logische stap vooruit vergeleken met modellen die alleen op tekst of vaste datasets leunen. De komende tijd zal zich uitwijzen welke omgevingen echt waarde leveren en welke vooral veel beloven maar weinig effect hebben.

Deze ontwikkeling werpt ook bredere vragen op over het gebruik van middelen, ethiek, controle en transparantie in AI-ontwikkeling. Want hoe groter de simulaties, hoe groter de verantwoordelijkheid, zowel technisch als maatschappelijk.