Naar inhoud springen
NieuwsPodcast
Tools
Gidsen
NieuwsbriefAppKennisbankOver ons

Computerwetenschapper onthult FeatureBench en prikt door de hype: “AI faalt op echte features”

Nieuws
door Wessel Simons
bijgewerkt om
agent
Voeg toe als voorkeursbron op Google
De Chinese computerwetenschapper Qixing Zhou en zijn academische collega's hebben FeatureBench onthuld. Dat is een nieuwe benchmark die “agentic coding” test op end-to-end feature development. De makers stellen dat bestaande benchmarks te vaak focussen op bugfixes binnen één pull request. FeatureBench wil juist meten of een AI-agent een volledige feature kan opleveren die ook echt runt en tests haalt.

Waarom deze benchmark opvalt

FeatureBench claimt een executie-gebaseerde evaluatie. Dat betekent dat de uitkomst niet alleen een tekstscore is, maar dat de omgeving daadwerkelijk draait en testcases controleert of de feature werkt.
De benchmark start met:
  • 200 uitdagende taken
  • 3.825 uitvoerbare omgevingen
  • afkomstig uit 24 open-source repositories
Dat is een duidelijke poging om dichter bij echte software engineering te komen. Veel teams merken namelijk dat “een snippet genereren” iets anders is dan “een feature shippen”.

Wat is er schokkend? 

De paper noemt een opvallend resultaat: een state-of-the-art agentic model dat op SWE-bench 74,4 procent haalt, scoort op FeatureBench slechts 11,0 procent “resolved”.
  1. Feature development is veel breder dan bugfixing.
  2. Agenten missen vaak vaardigheden buiten pure codegeneratie, zoals repository navigatie, dependency begrip en regressiepreventie.

Hoe FeatureBench taken maakt

De makers beschrijven een test-driven methode die taken automatisch afleidt uit repositories. Ze “tracen” vanaf unit tests over een dependency graph om feature-level coding tasks te isoleren. Daarbij checken ze ook dat andere features blijven werken.
Die aanpak is interessant voor de lange termijn. Benchmarks verouderen snel, zeker als trainingsdata lekt. FeatureBench wil makkelijker schaalbaar en updatabel zijn, zodat de dekking kan groeien en data leakage minder kans krijgt.

Wat dit betekent voor bedrijven die agents inzetten

Als jouw team “vibe coding” of agentic workflows test, dan is de belangrijkste les simpel: je moet je KPI’s aanpassen.
Veel organisaties meten succes nog met:
  • aantal gegenereerde regels code
  • snelheid van prototype oplevering
  • aantal tickets dat “aangeraakt” is
FeatureBench wijst erop dat de echte bottleneck vaak zit in:
  • correctheid over meerdere commits en PR’s
  • integratie met bestaande code
  • testdiscipline en regressie
  • behoud van andere functionaliteit
Daarom past het beter om agents te evalueren met:
  • end-to-end tests die je al in CI hebt
  • “time to green CI”
  • aantal regressies na merge
  • maintainability en reviewlast

Lees ook

Hoe AI-agents steeds vaker helpen bij het werven en opvolgen van klantenHoe AI-agents steeds vaker helpen bij het werven en opvolgen van klanten
AI-agents maken de singulariteit tastbaar: van theorie naar praktijk met MoltbotAI-agents maken de singulariteit tastbaar: van theorie naar praktijk met Moltbot
Steeds meer mensen werken als ‘huurling’ voor AI-agents: al 125.000 aanmeldingenSteeds meer mensen werken als ‘huurling’ voor AI-agents: al 125.000 aanmeldingen
Wessel Simons
Wessel Simons is redacteur en mede-architect achter AIwereld.nl. Hij schrijft over kunstmatige intelligentie, digitale soevereiniteit, geopolitiek en de machtsverschuivingen die ontstaan door de opkomst van AI-systemen.
AI Agent
loading

Populair nieuws

AI-aandelen veren op na forse koersval Nvidia, ASML en chipsector herstellen

AI-aandelen veren op na forse koersval: Nvidia, ASML en chipsector herstellen

Zo laat je je hond of kat praten en dansen met AI deze prompts maken het mogelijk

Zo laat je je hond of kat praten en dansen met AI: deze prompts maken het mogelijk

TSMC groeit 60% en investeert in OpenAI en Anthropic chipfabrikant profiteert van AI-boom

TSMC groeit 60% en investeert in OpenAI en Anthropic: chipfabrikant profiteert van AI-boom

DPG Media test Nederlandse AI-eindredacteur terwijl De Groene AI afwijst

DPG Media test Nederlandse AI-eindredacteur terwijl De Groene AI afwijst

Je bedrijf gratis claimen in ChatGPT Voor beheer moet je je identificeren

Je kunt je bedrijf registreren bij ChatGPT: maar er zit een addertje onder het gras

Blauwe laptop op de houten toonbank van een keramiekwinkel, met ochtendlicht door de open winkeldeur.

Goedemorgen AI: je bedrijf krijgt een plek in ChatGPT

Laatste reacties

Loading