Google Research onthult Nested Learning: 'architectuur en training zijn één systeem'

woensdag, 12 november 2025 om 18:44

Google Research wil AI voor altijd veranderen architectuur en training zijn één systeem

Google Research lanceerde het leerparadigma Nested Learning dat continu leren mogelijk maakt zonder catastrophic forgetting. De methode bekijkt een AI-model niet langer als één trainingsproces, maar als een verzameling kleinere, geneste optimalisatieproblemen met eigen contextstroom en updatefrequentie.

Deze herziening verbindt de netwerkarchitectuur en de optimizer tot één coherent geheel. Het team claimt winst op taalmodellering, lang-context taken en kennisintegratie met een proof-of-conceptmodel genaamd Hope.

Wat is Nested Learning en waarom is dit anders dan “gewoon” deep learning?

Deep learning is de afgelopen tien jaar gegroeid door grotere modellen en steeds slimmere optimalisatie. Toch blijft continu leren lastig, omdat nieuwe taken vaak oude kennis verdringen. Google stelt dat we architectuur en optimizer te lang als gescheiden werelden zagen. Nested Learning maakt die scheiding onnodig. Het kadert een model als een hiërarchie van samenhangende leerproblemen die tegelijk leren met verschillende snelheden. Elk niveau heeft een eigen “context flow” en updatefrequentie. Zo ontstaat een systeem dat nieuwe informatie snel absorbeert zonder gevestigde kennis te overschrijven.

Deze kijk sluit aan bij hoe de hersenen leren. Neuroplasticiteit werkt ook op meerdere tijdschalen. Google vertaalt dat naar AI door componenten op verschillende frequenties te laten updaten. Korte-termijn componenten reageren snel op nieuwe input. Langere-termijn componenten consolideren stabiele kennis. In die lens lijken bekende bouwstenen zoals backpropagation en aandachtmechanismen op associatief geheugen dat “verrassing” leert herkennen en opslaan.

De bouwstenen: deep optimizers en een continuum van geheugen

Omdat optimizers in deze visie ook geheugenmodules zijn, kun je ze verbeteren met standaardverliesfuncties zoals L2-regressie in plaats van louter dot-product-overeenkomsten. Dat maakt momentumgeheugen robuuster bij rommelige data. Daarnaast introduceert Google een Continuum Memory System. In Transformers fungeert de sequentie als kortetermijngeheugen en het feed-forward netwerk als langetermijngeheugen. Het continuum breidt dit uit naar een spectrum van geheugenmodules die elk op een eigen frequentie updaten. Resultaat is rijker geheugenbeheer voor continu leren.

Proof-of-concept: Hope als zelf-modificerende architectuur

Het team bouwde Hope, een variant op de Titans-architectuur. Titans rangschikt herinneringen op “verrassing”, maar kende slechts twee updateniveaus. Hope kan volgens Google onbeperkt veel in-context niveaus benutten en is aangevuld met CMS-blokken voor grote contextvensters. Kort gezegd optimaliseert Hope zijn eigen geheugen via zelf-referentie, waardoor een lus van leerniveaus ontstaat. In benchmarks toont Hope lagere perplexity voor taalmodellering en hogere nauwkeurigheid op common-sense taken dan moderne recurrente modellen en standaard Transformers.

Bij lang-context “needle-in-a-haystack”-testen beheert Hope context efficiënter. Interne analyses tonen dat Google de resultaten bij NeurIPS 2025 presenteert en dat de aanpak de scheidslijn tussen architectuur en optimizer bewust opheft. Onafhankelijke replicaties moeten deze bevindingen nog bevestigen, maar de eerste reacties uit de onderzoekswereld zijn positief.

Wat betekent dit voor praktijkgebruik in AI en crypto-analyse?

Sneller bijleren zonder reset: Modellen kunnen nieuwe regels of marktdynamiek opnemen terwijl ze oude strategieën behouden. Dat past bij handelssystemen die real-time signalen verwerken.
Langere context met geheugenhygiëne: Continuumgeheugen verdeelt kennis over tijdschalen. Dat helpt bij onchain-forensiek, compliance en sentimentanalyse waar historiek ertoe doet.
Eenvoudiger evolutie van modellen: Als architectuur en optimizer één systeem vormen, kun je leren en ontwerpen samen optimaliseren. Dit kan de iteratiesnelheid in productiesystemen verhogen, mits kosten en veiligheid onder controle blijven.

Kritische kanttekeningen

De paper en blog claimen duidelijke winsten, maar de community moet robuuste benchmarks en open implementaties tegen productieruns leggen. Schaalbaarheid, stabiliteit bij finetuning, interpretatie van multi-frequentie updates en veiligheid rond zelf-modificatie vragen bewijs op grotere datasets en langere trainingshorizonten. Publicaties buiten Google vatten de claims enthousiast samen, al voegen ze beperkt nieuwe data toe. Voor nu lijkt de kern stevig verankerd in Googles eigen publicatie en NeurIPS-verwijzingen.