Voor lokale AI is de hoeveelheid videogeheugen meestal het eerste selectiecriterium. Een snelle GPU met 8 GB VRAM kan minder bruikbaar zijn dan een iets oudere kaart met 16 of 24 GB wanneer het gewenste model anders niet past. Pas daarna kijk je naar geheugenbandbreedte, rekenkracht, stroomverbruik en prijs.
De korte aanbeveling:
- 8 GB: alleen voor kleine modellen en lichte experimenten;
- 12 GB: een bruikbaar instapniveau voor lokale tekst- en beeldmodellen;
- 16 GB: de beste brede middenklasse voor veel gebruikers;
- 24 GB: interessant voor grotere modellen, zwaardere beeldworkloads en beperkte finetuning;
- 32 GB: veel lokale speelruimte op één consumentenkaart;
- 48 tot 96 GB: professionele workloads waarbij geheugen belangrijker is dan aanschafprijs;
- tot 128 GB unified memory op Windows: RTX Spark-systemen richten zich op persoonlijke agents, ontwikkeling, creatie en gaming; de eerste systemen zijn aangekondigd voor het najaar van 2026;
- 128 GB coherent unified memory op Linux: DGX Spark is een leverbare compacte AI-ontwikkelmachine;
- tot 748 GB coherent memory: DGX Station is zakelijke deskside infrastructuur in een andere prijs-, stroom- en beheerklasse.
Welke kaart echt past, hangt af van model, quantisatie, contextlengte en software.
Deze gids gaat uitsluitend over de praktische hardwarekeuze. De geschiedenis, datacenterproducten en platformstrategie van Nvidia staan in de aparte uitleg wat is Nvidia?.
Stap 1: bepaal wat je lokaal wilt doen
“AI draaien” kan verschillende workloads betekenen:
- tekst genereren met een LLM;
- chatten met eigen documenten;
- afbeeldingen maken of bewerken;
- spraak omzetten naar tekst;
- embeddings berekenen en lokaal zoeken;
- LoRA- of QLoRA-finetuning;
- een model voor meerdere gebruikers serveren;
- een klein model volledig trainen.
Een lokaal chatsysteem voor één persoon stelt andere eisen dan beeldgeneratie of een modelserver met meerdere gelijktijdige verzoeken. Schrijf vóór aankoop drie dingen op:
- welk model of welke modelklasse je wilt gebruiken;
- hoeveel context en gelijktijdige gebruikers nodig zijn;
- of het alleen om inference of ook om finetuning gaat.
Wie nog geen voorkeur heeft, kan eerst op bestaande hardware testen met onze handleiding voor DeepSeek lokaal installeren met Ollama en LM Studio.
Waarom VRAM belangrijker kan zijn dan snelheid
Modelgewichten moeten tijdens inference snel beschikbaar zijn. Op een desktop-GPU staan ze bij voorkeur volledig in VRAM. Past het model niet, dan kan software een deel naar systeem-RAM verplaatsen. Dat werkt, maar de verbinding via PCI Express is veel trager dan het lokale videogeheugen.
Naast de gewichten gebruikt een model geheugen voor:
- de key-value-cache voor context;
- tijdelijke activaties;
- de modelserver en GPU-kernels;
- batching;
- beeld- of audiocomponenten;
- bij finetuning: gradients, optimizerdata en adapters.
Vul VRAM daarom niet tot exact honderd procent met alleen het modelbestand. Houd ruimte over voor de runtime en de gewenste context.
Hoeveel geheugen heeft een taalmodel nodig?
Een ruwe berekening begint bij het aantal parameters en het aantal bits per parameter:
geheugen voor gewichten ≈ parameters × bits per parameter ÷ 8
Een model van 8 miljard parameters vraagt bij 4-bit quantisatie theoretisch ongeveer 4 GB voor de gewichten. In de praktijk komt daar overhead bij. Bestandsformaat, quantisatiemethode, context en software zorgen ervoor dat de werkelijke behoefte hoger ligt.
| Modelklasse | Ruwe behoefte bij gangbare 4-bit quantisatie | Praktische VRAM-klasse |
| 7B–8B | circa 5–7 GB inclusief basisoverhead | 8–12 GB |
| 12B–14B | circa 9–12 GB | 12–16 GB |
| 20B–24B | circa 14–18 GB | 16–24 GB |
| 30B–32B | circa 20–24 GB | 24–32 GB |
| 65B–70B | circa 42–50 GB | 48 GB of meer, meerdere GPU’s of gedeeltelijke offload |
| Groter dan 100B | sterk modelafhankelijk | professionele accelerator, veel gedeeld geheugen, meerdere GPU’s of cloud |
Dit zijn geen garanties. Een lang contextvenster kan meerdere gigabytes extra gebruiken. Een mixture-of-experts-model heeft bovendien een groot totaal aantal parameters, terwijl per token maar een deel actief kan zijn; de gewichten moeten nog steeds beschikbaar zijn.
8 GB VRAM: alleen als de verwachtingen bescheiden zijn
Kaarten met 8 GB kunnen kleine gequantiseerde LLM’s, spraakherkenning en bepaalde beeldmodellen draaien. Denk bij de RTX 50-serie aan uitvoeringen van de RTX 5050, RTX 5060 en RTX 5060 Ti met 8 GB.
De beperkingen worden snel zichtbaar:
- weinig ruimte voor grotere modellen;
- beperktere context;
- sneller terugvallen op systeemgeheugen;
- weinig marge voor nieuwe modelversies;
- zwaardere beeldworkflows lopen eerder vast.
Koop 8 GB alleen wanneer budget en andere taken zwaarder wegen en je bewust voor kleine modellen kiest. Voor een nieuwe machine die meerdere jaren als AI-werkstation moet dienen, is meer geheugen meestal verstandiger.
12 GB VRAM: bruikbaar instapniveau
De RTX 5070 heeft 12 GB VRAM. Deze klasse kan veel 7B- en 8B-modellen comfortabel draaien en biedt ruimte voor bepaalde 12B- tot 14B-modellen, afhankelijk van quantisatie en context.
Twaalf gigabyte is geschikt voor:
- lokaal chatten met kleine en middelgrote modellen;
- embeddings en retrieval;
- spraak-AI;
- veel gangbare beeldgeneratie;
- leren werken met PyTorch en CUDA.
Het is minder toekomstvast voor grotere modellen. Wie nu al weet dat 14B, langere context of complexe beeldworkflows belangrijk zijn, kan beter naar 16 GB kijken.
16 GB VRAM: de brede middenklasse
In de RTX 50-serie zijn onder meer de RTX 5060 Ti 16 GB, RTX 5070 Ti en RTX 5080 met 16 GB verkrijgbaar. Hun snelheid en prijs verschillen, maar de geheugencapaciteit bepaalt een vergelijkbare bovengrens.
Zestien gigabyte is voor veel lokale AI-gebruikers de beste balans. Het biedt:
- ruime marge voor 7B- en 8B-modellen;
- veel 12B- tot 14B-modellen in geschikte quantisatie;
- sommige grotere modellen met agressievere quantisatie of gedeeltelijke offload;
- comfortabelere beeldgeneratie;
- meer ruimte voor adapters, grotere batches en context.
Kies binnen deze klasse niet alleen op AI-TOPS. Let ook op geheugenbandbreedte, koeling, geluidsniveau, kaartafmetingen en totaal systeemvermogen.
24 GB VRAM: interessant door oudere topmodellen
De RTX 3090 en RTX 4090 hebben 24 GB VRAM. Vooral een gebruikte RTX 3090 kan aantrekkelijk lijken omdat veel geheugen beschikbaar is. Daar staan duidelijke risico’s tegenover:
- onbekende belasting of gebruiksgeschiedenis;
- mogelijk geen garantie;
- hoog stroomverbruik en warmte;
- grote kaart en zware voeding;
- een oudere architectuur en minder efficiëntie dan nieuwe generaties.
Een RTX 4090 is sneller en efficiënter, maar de prijs kan dicht bij nieuwere opties liggen. Vergelijk de totale systeemkosten.
Met 24 GB passen veel 30B- tot 32B-modellen alleen in krappe 4-bitconfiguraties en met beperkte extra ruimte. Het is geen garantie dat ieder “32B”-model met lange context volledig en snel draait. Toch opent 24 GB aanzienlijk meer mogelijkheden dan 16 GB.
32 GB VRAM: RTX 5090
De GeForce RTX 5090 heeft 32 GB GDDR7. Daarmee is hij op de peildatum de GeForce-kaart met de meeste lokale VRAM in één GPU. Deze capaciteit is bruikbaar voor:
- grotere gequantiseerde LLM’s;
- zware generatieve beeld- en videoworkflows;
- grotere batches;
- QLoRA-experimenten;
- meerdere kleinere modellen tegelijk.
De kaart vraagt een stevig systeem. Controleer voeding, connectoren, behuizing, luchtstroom en fysieke afmetingen. Houd ook rekening met warmte en geluid als de machine langdurig op volle belasting draait.
32 GB blijft veel minder dan professioneel GPU-geheugen. Een 70B-model past doorgaans niet volledig in 4-bit met alle overhead en ruime context. Voor zulke modellen zijn offload, meerdere GPU’s of een ander systeem nodig.
48 en 96 GB: professionele GPU’s
Professionele kaarten hebben vaak meer geheugen, gecertificeerde drivers en zakelijke ondersteuning. De RTX PRO 6000 Blackwell Workstation Edition biedt 96 GB GDDR7 met ECC. Oudere professionele generaties zijn onder meer verkrijgbaar met 48 GB.
Ze zijn relevant wanneer:
- een groot model op één GPU moet passen;
- ECC en betrouwbaarheid vereist zijn;
- professionele applicatiecertificering belangrijk is;
- meer VRAM engineeringtijd bespaart;
- de kaart bedrijfsmatig intensief wordt gebruikt.
De aanschafprijs per rekeneenheid is doorgaans hoger dan bij GeForce. Betaal alleen voor professionele functies die daadwerkelijk waarde hebben.
DGX Spark met 128 GB is geen RTX-kaart met 128 GB VRAM
Nvidia DGX Spark combineert een GB10 Grace Blackwell-superchip met 128 GB gedeeld LPDDR5x-geheugen. CPU en GPU kunnen dezelfde geheugenpool gebruiken. Nvidia positioneert het systeem voor lokale ontwikkeling en inference met modellen tot 200 miljard parameters, afhankelijk van model, precisie en context.
Die 128 GB mag niet één-op-één worden vergeleken met 128 GB snel HBM of GDDR-geheugen op een losse GPU. DGX Spark heeft een opgegeven geheugenbandbreedte van 273 GB per seconde. Een high-end desktop-GPU heeft minder capaciteit maar aanzienlijk meer lokale bandbreedte.
Daarom kan Spark aantrekkelijk zijn voor een groot gequantiseerd model dat vooral moet passen, terwijl een RTX 5090 sneller kan zijn bij een kleiner model dat volledig in 32 GB past. De volledige afweging staat in onze gids over DGX en DGX Spark.
Waar past RTX Spark tussen een losse GPU en DGX Spark?
RTX Spark is een afzonderlijk Nvidia-platform voor Windows-laptops en compacte desktops. Het combineert een Blackwell RTX-GPU, een twintigkernige Grace-CPU en maximaal 128 GB unified memory. De eerste systemen zijn voor het najaar van 2026 aangekondigd en waren op de peildatum nog niet algemeen leverbaar.
Het platform is vooral relevant voor gebruikers die grote lokale modellen of persoonlijke agents op een geïntegreerde Windows-computer willen draaien. Het vervangt niet automatisch een losse RTX-kaart:
- een GeForce- of RTX Pro-kaart kan sneller zijn wanneer het model volledig in het lokale VRAM past;
- een traditionele x86-desktop is eenvoudiger uit te breiden en heeft een bewezen softwarebasis;
- RTX Spark biedt veel gedeeld geheugen, maar gebruikt Windows on Arm en vraagt daarom controle van drivers, Python-pakketten, containers en plug-ins;
- DGX Spark blijft een aparte Linux-georiënteerde ontwikkelmachine met DGX OS.
Lees vóór een toekomstige aankoop de aparte uitleg over Nvidia RTX Spark, lokale AI op Windows en het verschil met DGX Spark.
DGX Station is een andere hardwareklasse
DGX Station combineert 252 GB HBM3e bij de GPU met 496 GB LPDDR5X bij de CPU, samen maximaal 748 GB coherent toegankelijk geheugen. Die twee geheugentypen hebben niet dezelfde bandbreedte. Nvidia noemt maximaal 20 petaFLOPS FP4 met sparsity en ondersteuning voor modellen tot één biljoen parameters onder geschikte omstandigheden.
Dit is enterprisehardware voor zeer grote lokale modellen, meerdere agents en gespecialiseerde ontwikkeling. Het is geen logisch alternatief voor een gewone thuis-pc of losse videokaart. Vergelijk behalve capaciteit ook aanschafprijs, energie, support, beschikbaarheid en de beheerlast van de volledige omgeving.
Desktop of laptop?
Een laptop-GPU met dezelfde naam als een desktopkaart is niet dezelfde configuratie. Laptopchips hebben doorgaans:
- een lager vermogensbudget;
- minder of trager geheugen;
- lagere langdurige prestaties;
- beperkte koeling;
- geen mogelijkheid om VRAM of GPU te vervangen.
Een laptop is geschikt voor mobiliteit en kleinere lokale workloads. Voor langdurige inference, finetuning of maximale prestaties per euro is een desktop vaak beter. Controleer bij laptops het exacte VRAM en de Total Graphics Power, niet alleen “RTX 5080”.
Eén grote GPU of twee kleinere?
Twee kaarten leveren niet automatisch één gedeelde geheugenpool. Software moet het model expliciet splitsen. Consumentenkaarten uit recente GeForce-generaties hebben bovendien meestal geen NVLink; communicatie loopt via PCI Express.
Meerdere GPU’s brengen extra eisen mee:
- genoeg PCIe-slots en lanes;
- ruimte tussen grote kaarten;
- een zware voeding;
- veel koeling;
- software die tensor- of pipelineparallelisme ondersteunt;
- meer configuratie en foutmogelijkheden.
Voor lokale inference is één kaart met genoeg geheugen meestal eenvoudiger. Twee gebruikte 24GB-kaarten kunnen voor een ervaren gebruiker economisch interessant zijn, maar zijn geen probleemloze vervanging voor één professionele 48GB-GPU.
Hoeveel systeem-RAM heb je nodig?
Een praktische ondergrens is vaak twee keer de GPU-VRAM, maar de workload bepaalt het echte getal.
- 16 GB systeem-RAM: krap voor een moderne AI-werkplek;
- 32 GB: bruikbaar voor kleine en middelgrote lokale workloads;
- 64 GB: comfortabel voor modellen, datasets en offload;
- 128 GB of meer: nuttig bij grote modellen, meerdere applicaties of zware preprocessing.
Als een model deels naar RAM wordt verplaatst, moet daar voldoende ruimte zijn. De snelheid daalt omdat CPU-geheugen via PCI Express wordt bereikt.
CPU, opslag en voeding
CPU
Voor pure GPU-inference hoeft de duurste CPU niet. Wel kan een zwakke processor tokenisatie, dataladen en preprocessing vertragen. Veel PCIe-lanes zijn belangrijk bij meerdere GPU’s.
Opslag
Modellen nemen snel tientallen of honderden gigabytes in. Kies een NVMe-SSD met voldoende vrije ruimte. Een tweede SSD voor modellen en datasets houdt het systeem overzichtelijk.
Voeding
Gebruik een kwaliteitsvoeding met voldoende vermogen en de juiste connectoren. Reken niet alleen met het GPU-verbruik; CPU, piekbelasting, schijven, ventilatoren en veiligheidsmarge tellen mee.
Koeling
Langdurige AI-belasting houdt een GPU anders dan een korte gamebenchmark continu actief. Een ruime behuizing en goede luchtstroom voorkomen throttling en onnodig lawaai.
Windows of Linux?
Windows is toegankelijk en veel lokale AI-apps hebben kant-en-klare builds. Linux biedt vaak de breedste ondersteuning voor ontwikkel- en serverworkflows, containers en meerdere GPU’s.
Kies het besturingssysteem op basis van de gewenste software:
- LM Studio en gebruiksvriendelijke desktoptools werken op meerdere platformen;
- eigen PyTorch-ontwikkeling en productieachtige modelservers zijn vaak eenvoudiger op Linux;
- bepaalde extensies of optimalisaties ondersteunen niet ieder platform tegelijk.
Controleer dat vóór de hardwareaankoop.
Lokale AI versus een cloud-API
Een lokale GPU is niet altijd voordeliger. Een cloud-API of gehuurde GPU kan slimmer zijn wanneer:
- het gebruik incidenteel is;
- een zeer groot model maar kort nodig is;
- beheer en stroomkosten niet opwegen tegen privacyvoordeel;
- een gesloten model gewenst is;
- snelle toegang tot meerdere hardwaregeneraties belangrijk is.
Gesloten diensten van bedrijven zoals OpenAI draaien niet lokaal doordat de modelgewichten niet openbaar beschikbaar zijn. Lokale AI gebruikt meestal open-weightmodellen, zoals bepaalde modellen uit de Llama-familie.
Concrete keuze per gebruiker
| Profiel | Aanbevolen VRAM | Opmerking |
| Eerste experimenten, klein budget | 8–12 GB | Gebruik kleine 4-bitmodellen; accepteer beperkingen |
| Serieuze hobbyist en brede lokale AI | 16 GB | Goede balans voor tekst, beeld en ontwikkeling |
| Grotere LLM’s en zwaardere workflows | 24–32 GB | Meer flexibiliteit, maar hoge systeemkosten |
| Professionele modellen op één kaart | 48–96 GB | Alleen bij aantoonbare zakelijke waarde |
| Groot model op een compacte Linux-computer | DGX Spark, 128 GB unified memory | Veel capaciteit, maar lagere bandbreedte dan high-end VRAM |
| Persoonlijke Windows-agents en geïntegreerde AI-pc | RTX Spark, tot 128 GB unified memory | Eerste systemen verwacht in het najaar van 2026 |
| Zeer grote lokale enterprise-workloads | DGX Station, tot 748 GB coherent memory | Zakelijke deskside infrastructuur; geen consumentenkoop |
| Incidenteel extreem zwaar werk | Cloud | Geen grote vaste investering |
Aankoopchecklist
Controleer vóór bestelling:
- [ ] het exacte VRAM, niet alleen de GPU-naam;
- [ ] of jouw software CUDA en deze GPU-generatie ondersteunt;
- [ ] de grootste modelconfiguratie die je echt wilt draaien;
- [ ] extra geheugen voor context en runtime;
- [ ] kaartlengte, dikte en beschikbare slots;
- [ ] aanbevolen voeding en connectoren;
- [ ] luchtstroom en geluidsniveau;
- [ ] systeem-RAM en SSD-ruimte;
- [ ] garantie bij gebruikte hardware;
- [ ] totale prijs ten opzichte van cloudgebruik.
Lees ook
Conclusie
Kies voor lokale AI eerst genoeg geheugen en daarna pas maximale snelheid. Twaalf gigabyte is een bruikbaar instapniveau, 16 GB is voor veel gebruikers de beste brede middenweg en 24 tot 32 GB geeft ruimte voor grotere lokale modellen. RTX PRO, DGX Spark, RTX Spark en DGX Station lossen elk een ander probleem op. Vergelijk daarom niet alleen gigabytes, maar ook geheugentype, bandbreedte, besturingssysteem, processorarchitectuur, uitbreidbaarheid, leverstatus en totale kosten.
Een aankoop blijft een momentopname. Bepaal het model, test de software en bereken de volledige systeemkosten voordat je een GPU kiest.
Veelgestelde vragen over Nvidia-GPU’s voor lokale AI
Is 8 GB VRAM genoeg voor lokale AI?
Voor kleine gequantiseerde taalmodellen, spraakherkenning en lichte beeldgeneratie wel. Voor grotere modellen en toekomstbestendigheid is 12 of 16 GB praktischer.
Is 16 GB beter dan een snellere kaart met 12 GB?
Als het gewenste model meer dan 12 GB nodig heeft, meestal wel. Past het model in beide kaarten, dan kunnen rekenkracht en bandbreedte de snellere kaart voordeel geven.
Is een gebruikte RTX 3090 goed voor AI?
De 24 GB VRAM is aantrekkelijk. Controleer wel conditie, garantie, koeling, voeding en stroomverbruik. Een gebruikte kaart kan zwaar belast zijn geweest.
Kan een 70B-model op een RTX 5090?
Niet volledig in een gangbare 4-bitconfiguratie met ruime context. Met CPU-offload kan het soms draaien, maar langzamer. Voor volledig GPU-resident gebruik is doorgaans meer dan 32 GB nodig.
Is DGX Spark sneller dan een RTX 5090?
Niet bij iedere workload. Spark heeft veel meer gedeeld geheugen, maar een lagere geheugenbandbreedte dan een high-end desktop-GPU. Spark kan een groter model laten passen; de RTX 5090 kan sneller zijn als het model volledig in 32 GB past.
Heb ik CUDA nodig voor lokale AI?
Veel gebruiksvriendelijke programma’s regelen de runtime grotendeels zelf. Een geschikte Nvidia-driver blijft nodig. Voor eigen ontwikkeling of het compileren van extensies kan de CUDA Toolkit nodig zijn.
Robin HeesterOprichter
Robin Heester is mede-oprichter van AI Wereld en heeft door de jaren heen meerdere websites, nieuwsbrieven en magazines opgericht. Hij schrijft over technologie, innovatie en de maatschappelijke impact van nieuwe digitale ontwikkelingen.
Populair nieuws
Laatste reacties
- Niet mijn observatie dat de toeleveringsaanvoer stabiliseert.Cas.v26-08-2026
- Ja, de transcriptie van het gesprek is gedaan met AI. Dank voor de feedback over de herhalingen, daar kan ik zeker nog wat scherper op zijn.RobinHeester21-08-2026
- Goed artikel, alleen jammer dat er zoveel Ai bij gebruikt is om het te schrijven, veel herhalingen, het had een stuk compacter gekund.🙃Cas.v21-08-2026
- Voor zover ik weet moet je bij academische publicaties vooral eerlijk en transparant zijn over hoe en waar je AI hebt gebruikt. En de oorspronkelijke informatiebronnen kunnen dan gewoon volgens APA worden vermeld. Maar daar weet ik het fijne ook (nog) niet van.RobinHeester13-08-2026
- Ik ben benieuwd wat dit gaat betekenen voor de APA verwijzingen in academische publicaties.Cas.v13-08-2026
- Wie wordt er beter van.....zal Meta wel zijnhenk.h10-07-2026
- Wat voor weer wordt het vandaaghenk.h03-07-2026
- Dit artikel is van 1 april, dus deze belasting is niet echt. Gelukkig maar. :)RobinHeester12-05-2026
- Of een ander land..dat lijkt mij beterHan10-05-2026
- Op 1 april 2028 komt er een AI die al het kantoorwerk van alle Nederlanders overneemt. Heb ik van horen zeggen.RobinHeester01-04-2026
Loading