Kimi K3.1 Pro is 1,56 TB groot. Welke computer kan dat aan?

Moonshot AI heeft de modelbestanden van Kimi K3.1 Pro op 4 november vrijgegeven. Wie de volledige download op Hugging Face binnenhaalt, heeft daar 1,56 terabyte opslagruimte voor nodig. AMD liet het model draaien op acht datacenterchips. Tijdens het opstarten gebruikte elk van die chips al zo’n 199 GB geheugen. Een gangbare videokaart met 12 of 16 GB komt daar zelfs voor een korte vraag niet bij in de buurt.

In oktober ging het bij de aankondiging vooral over de hackvaardigheden die Moonshot tijdens het trainen probeerde te beperken. Nu de bestanden beschikbaar zijn, kunnen ontwikkelaars Kimi ook op hun eigen servers gebruiken. Bij gebruik via een website doet een server van de aanbieder al het rekenwerk. Wie Kimi thuis wil draaien, moet daar zelf de hardware voor hebben.

Kimi bevat 2,8 biljoen parameters, de getallen waarin een getraind model vastlegt wat het heeft geleerd. Bij elk nieuw stukje tekst, een token, rekent Kimi met ongeveer 104 miljard daarvan. Welke delen aan de beurt komen, kan per token verschillen. Ook de modelgewichten die bij het ene woord buiten gebruik blijven, moeten voor een volgend woord bereikbaar zijn.

AMD verdeelde het rekenwerk in zijn proef met Kimi K3.1 Pro over acht Instinct MI355X-chips met elk 288 GB geheugen. De gemelde opstartpiek van 199 GB per chip hoort bij één specifieke opstelling, met AMD’s ATOM-software en een extra model dat alvast mogelijke vervolgtokens voorstelt. De acht chips hebben samen 2.304 GB snel geheugen. Op deze server kon het bedrijf één verzoek met een context van een miljoen tokens verwerken. Bij zo’n lange tekst vragen ook de eerder gelezen woorden veel geheugen.

Op een lege SSD van 2 TB passen de gepubliceerde bestanden in beginsel wel. Zodra je het model een vraag stelt, moet de grafische processor zijn gewichten herhaaldelijk kunnen lezen. Daarvoor zit er snel geheugen direct bij de chip. Dat videogeheugen, vaak aangeduid als VRAM, is ook nodig voor tussenresultaten en voor informatie over de tekst die het model al heeft verwerkt.

Software kan een deel van een model in het gewone werkgeheugen bewaren. Gegevens uitwisselen tussen dat geheugen en de videokaart kost tijd. Bij een desktop met bijvoorbeeld 32 GB werkgeheugen en 16 GB videogeheugen blijft bovendien de totale capaciteit ver onder de omvang van Kimi. In de keuzehulp voor lokale AI op een Nvidia-kaart staat welke kleinere modellen bij zulke kaarten passen.

Voor een Nederlandstalige samenvattingsproef kun je op een pc met 12 of 16 GB videogeheugen Qwen3 4B in Ollama proberen. Deze uitvoering is 2,5 GB als download. Start na installatie van Ollama het model met ollama run qwen3:4b. Geef het vervolgens deze fictieve mededeling en opdracht, die je ook ongewijzigd aan Kimi kunt voorleggen.

Vat dit bericht in één Nederlandse zin samen voor bibliotheekbezoekers. De bibliotheek zou maandag om negen uur heropenen. De vloerlak is nog niet droog, dus de deuren gaan woensdag om tien uur open. Boeken inleveren kan tot die tijd wel, via de buitenbus.

Een mogelijk controleantwoord is ‘De bibliotheek heropent woensdag om tien uur, maar boeken kun je tot die tijd inleveren via de buitenbus.’ Houd je eigen uitkomst ernaast. Kloppen de dag, de tijd en de uitzondering voor het inleveren?

Wil je ook weten waar Qwen tijdens jouw proef draaide? Open direct na het antwoord een tweede terminal en voer ollama ps uit. In de uitleg van Ollama betekent 100% GPU dat het hele model in het videogeheugen stond. Een verdeling tussen CPU en GPU laat zien dat ook het gewone werkgeheugen meedeed.

SEO-titel · Kimi K3.1 Pro lokaal draaien: hoeveel GPU-geheugen is nodig?Redactiecheck · AMD’s opstelling is een gemeten configuratie. AMD geeft hiermee geen algemene minimumeis. Het bibliotheekantwoord is een controlesleutel van de redactie.