Mini-AI-model van Samsung is even sterk als modellen tienduizend keer groter

Een onderzoeker van Samsung’s Advanced Institute of Technology (SAIT) heeft een opmerkelijke doorbraak gepresenteerd: een mini-AI-model dat op specifieke taken even goed presteert als modellen die tienduizend keer groter zijn.

Het zogeheten Tiny Recursive Model (TRM) heeft slechts 7 miljoen parameters, maar weet dankzij een slimme architectuur indrukwekkende resultaten te behalen.

Het Tiny Recursive Model is ontwikkeld door Alexia Jolicoeur-Martineau, onderzoeker bij Samsung in Montreal. Waar moderne AI-systemen zoals GPT-4 of Claude honderden miljarden parameters gebruiken, doet TRM het met een fractie daarvan. Het model richt zich niet op tekstgeneratie of algemene conversatie, maar op redenerende puzzeltaken zoals sudoku’s en doolhoven.

Wat TRM bijzonder maakt, is de manier waarop het redeneert. In plaats van één antwoord te berekenen, gebruikt het zijn eigen output opnieuw als input. Dit proces herhaalt zich maximaal zestien keer, waarbij het model stap voor stap tot een beter antwoord komt. Dat principe heet recursief redeneren. TRM beschikt bovendien over een ingebouwd mechanisme dat bepaalt wanneer het proces moet stoppen om een stabiel resultaat te bereiken. Dat voorkomt eindeloze herhalingen of fouten.

De kracht van TRM zit in efficiëntie, niet in omvang. Waar grote taalmodellen vooral brute rekenkracht gebruiken, vertrouwt TRM op een compacter netwerk met een tweelaagse architectuur. Door telkens te reflecteren op eerdere resultaten, leert het model patronen herkennen zonder dat miljoenen extra parameters nodig zijn.

Volgens de onderzoeksresultaten behaalt TRM op puzzeltaken opvallend hoge scores. Bij het oplossen van complexe sudoku’s en doolhofproblemen ligt de nauwkeurigheid tot wel 85 à 90 procent, vergelijkbaar met of zelfs beter dan veel grotere modellen. Daarmee ondermijnt het onderzoek de heersende overtuiging dat “meer parameters altijd beter” is.

Het is belangrijk te benadrukken dat TRM geen algemene AI is zoals ChatGPT of Gemini. Het model blinkt uit in logisch redeneren binnen een beperkt domein, maar is niet geschikt voor taalbegrip, samenvattingen of creatieve taken. De techniek van recursief redeneren is vooralsnog getest op abstracte puzzels, niet op natuurlijke taal.

Toch zien experts potentieel voor lichtere AI-systemen die weinig energie verbruiken. Denk aan toepassingen in smartphones, slimme horloges of Internet-of-Things-apparaten, waar beperkte rekenkracht beschikbaar is. Door deze aanpak zou AI in de toekomst efficiënter kunnen draaien op lokale hardware, zonder verbinding met grote datacenters.

De introductie van TRM laat zien dat innovatie in AI niet alleen draait om schaalvergroting. Door slim gebruik te maken van recursieve redenering kan een klein model vergelijkbare prestaties leveren als een veel groter systeem. Dat kan leiden tot nieuwe generaties AI-toepassingen die sneller, energiezuiniger en toegankelijker zijn.

De ontdekking van Jolicoeur-Martineau heropent daarmee de discussie over de toekomst van AI-architecturen. Minder parameters betekent niet per definitie minder intelligentie. Soms is minder juist meer.

Je kunt de paper hier vinden.