Benchmark: AI-agents presteren slecht zonder toegang tot databronnen

AI-agents worden vaak gepresenteerd als de volgende grote stap in kunstmatige intelligentie: software die zelfstandig taken kan uitvoeren, analyses kan doen en beslissingen kan nemen. Maar nieuw onderzoek laat zien dat die belofte sterk afhankelijk is van iets heel eenvoudigs: toegang tot data.

Een nieuwe benchmark, FinRetrieval, onderzocht hoe goed AI-agents financiële informatie kunnen ophalen uit databases. Daarbij werden verschillende configuraties getest van modellen van onder andere OpenAI, Anthropic en Google.

De resultaten zijn opvallend. Wanneer een AI-agent alleen toegang had tot websearch, scoorde een van de best presterende modellen slechts 19,8 procent nauwkeurigheid bij het beantwoorden van financiële vragen.

Zodra dezelfde AI-agent toegang kreeg tot gestructureerde databronnen via API’s, steeg de nauwkeurigheid naar meer dan 90 procent.

Volgens de onderzoekers is het verschil zo groot dat tool-toegang belangrijker blijkt dan het redeneervermogen van het model zelf.

Veel AI-systemen kunnen namelijk prima redeneren, maar zonder betrouwbare databronnen moeten ze gissen naar cijfers of context. Dat leidt tot fouten, hallucinaties of incomplete antwoorden.

De studie laat ook zien dat verschillende AI-modellen op vergelijkbare wijze reageren: zodra ze goede tools en databronnen krijgen, stijgt de prestatie aanzienlijk.

De resultaten vormen een interessante realiteitscheck voor de huidige hype rond AI-agents.

Veel bedrijven experimenteren met systemen die zelfstandig onderzoek doen, rapporten schrijven of analyses uitvoeren. Maar zonder toegang tot betrouwbare databronnen blijven deze agents beperkt.

In de praktijk betekent dat dat succesvolle AI-agents vaak bestaan uit een combinatie van:

Pas wanneer die componenten samenkomen, kunnen AI-agents complexe taken betrouwbaar uitvoeren.

De studie laat zien dat de toekomst van AI-agents waarschijnlijk minder draait om één slim model, en meer om complete systemen die AI combineren met databronnen en tools.

Met andere woorden: niet alleen de intelligentie van het model bepaalt het succes, maar vooral de infrastructuur eromheen.

Voor bedrijven die AI-agents willen inzetten is dat een belangrijke les: zonder goede data blijft zelfs de slimste AI verrassend beperkt.