De verhouding tussen GPU-geheugen en modelgrootte is ruwweg twee bytes per modelparameter bij gebruik van 16-bit precisie. Een model met 7 miljard parameters heeft daarmee minimaal 14 GB VRAM nodig voor inferentie. Bij training liggen de geheugenvereisten aanzienlijk hoger, omdat ook gradiënten, optimalisatiestatussen en activaties geheugen innemen.

Deze verhouding is het uitgangspunt voor elke GPU-selectie bij AI-workloads, maar de werkelijkheid is genuanceerder. Quantisatie, batchgrootte en het type workload bepalen mede hoeveel GPU-geheugen een model daadwerkelijk verbruikt. De secties hieronder beantwoorden de meest gestelde vragen over GPU-VRAM en modelgrootte, van de basisberekening tot de keuze van de juiste hardware.

Hoeveel VRAM verbruikt één modelparameter?

Eén modelparameter verbruikt twee bytes VRAM bij 16-bit precisie (FP16 of BF16), of vier bytes bij 32-bit precisie (FP32). In de praktijk wordt voor inferentie vrijwel altijd FP16 of BF16 gebruikt, waardoor de vuistregel is: aantal parameters in miljarden, vermenigvuldigd met twee, geeft het minimale VRAM-gebruik in gigabytes.

Een model met 13 miljard parameters vraagt dus minimaal 26 GB VRAM bij FP16. Maar dit is puur het geheugen voor de modelgewichten. Daarbovenop komen de KV-cache (het tijdelijke geheugen voor aandachtsberekeningen), de activaties tijdens de voorwaartse doorgang en de overhead van de runtime-omgeving. In de praktijk moet je rekenen op twintig tot dertig procent extra boven het theoretische minimum. Een 13B-model heeft daarmee eerder 30 tot 34 GB VRAM nodig voor stabiele inferentie.

Hoe bereken je het benodigde GPU-geheugen voor een AI-model?

Het benodigde GPU-geheugen berekenen voor een AI-model doe je in drie stappen: bereken het geheugen voor de modelgewichten, tel het geheugen voor de KV-cache op, en voeg een buffer toe voor runtime-overhead. De formule voor de modelgewichten is eenvoudig: aantal parameters (in miljarden) vermenigvuldigd met het aantal bytes per parameter.

Een praktisch rekenvoorbeeld voor een 70B-model bij FP16:

  1. Modelgewichten: 70 × 2 = 140 GB
  2. KV-cache: afhankelijk van contextlengte en batchgrootte, maar reken op 10 tot 30 procent extra
  3. Runtime-overhead: reken op 5 tot 10 procent boven op het totaal

Voor dit model kom je al snel uit op 160 tot 200 GB VRAM. Dat vraagt om meerdere high-end GPU’s of gespecialiseerde hardware. De contextlengte speelt een grote rol in de KV-cache: hoe langer de context, hoe meer VRAM er per token gereserveerd wordt. Bij een contextlengte van 128.000 tokens kan de KV-cache het totale geheugengebruik aanzienlijk verhogen ten opzichte van een standaardcontextvenster van 4.096 tokens.

Wat is het verschil tussen inferentie- en trainingsgeheugen?

Bij inferentie verbruikt een model alleen geheugen voor de modelgewichten, de KV-cache en de activaties van de huidige batch. Bij training is het geheugengebruik twee tot vier keer zo hoog, omdat ook gradiënten en optimalisatiestatussen (zoals de momentumwaarden van Adam) opgeslagen moeten worden naast de modelgewichten zelf.

Concreet: bij mixed-precision training met een optimizer zoals AdamW moet je per parameter rekenen op:

  • 2 bytes voor de FP16-modelgewichten
  • 4 bytes voor de FP32-masterkopie van de gewichten
  • 8 bytes voor de optimizer-statussen (twee momenten in FP32)
  • 2 bytes voor de gradiënten in FP16

Dat is in totaal 16 bytes per parameter. Een 7B-model dat bij inferentie 14 GB VRAM vraagt, heeft bij full fine-tuning dus al snel meer dan 100 GB VRAM nodig. Technieken als LoRA, gradient checkpointing en mixed precision helpen dit te beperken, maar training blijft altijd geheugenintensiever dan inferentie.

Wat gebeurt er als een model niet in het GPU-geheugen past?

Als een model niet in het GPU-geheugen past, zijn er drie uitkomsten: het laden mislukt met een out-of-memory-fout, het systeem valt terug op langzamere CPU-offloading, of het model wordt verdeeld over meerdere GPU’s via modelparallelisme. Geen van deze situaties is ideaal zonder de juiste configuratie.

CPU-offloading via frameworks zoals llama.cpp of Hugging Face Accelerate maakt het mogelijk om een deel van het model in het RAM van de server te laden. De GPU verwerkt dan alleen de lagen die op dat moment actief zijn. Dit werkt, maar is aanzienlijk trager dan volledig GPU-gebonden inferentie, omdat data voortdurend tussen RAM en VRAM heen en weer moet worden getransporteerd.

Modelparallelisme is de professionele oplossing bij grote modellen: het model wordt verdeeld over meerdere GPU’s, zodat elke GPU een deel van de lagen beheert. Dit vereist hardware met snelle interconnects, zoals NVLink bij Nvidia GPU’s, om de communicatie tussen GPU’s niet tot een knelpunt te laten worden. Voor productieomgevingen is dit de aangewezen aanpak bij modellen van 70B parameters en groter.

Welke GPU heeft genoeg geheugen voor populaire LLM’s?

De VRAM-vereisten voor populaire LLM’s variëren sterk op basis van modelgrootte en precisie. Als vuistregel geldt: een GPU met 24 GB VRAM is voldoende voor modellen tot 13B parameters bij FP16, terwijl modellen van 70B of meer meerdere GPU’s met elk 80 GB VRAM vereisen.

Een overzicht per modelklasse:

  • Tot 7B parameters (FP16): 16 tot 24 GB VRAM, zoals Nvidia RTX 4090 of L4
  • 13B parameters (FP16): 24 tot 32 GB VRAM, zoals Nvidia L40S of A6000
  • 70B parameters (FP16): meerdere GPU’s met 80 GB VRAM, zoals H100 of A100
  • 405B parameters en groter: multi-node GPU-clusters vereist

Supermicro brengt als eerste fabrikant nieuwe Nvidia GPU-generaties op de markt, waaronder de B300-serie. Via onze AI-infrastructuuroplossingen leveren wij systemen die zijn geconfigureerd op de specifieke VRAM-vereisten van uw modellen, van single-GPU-workstations tot multi-rack GPU-clusters.

Hoe beïnvloedt quantisatie de verhouding tussen geheugen en prestaties?

Quantisatie verlaagt het VRAM-gebruik door modelparameters op te slaan in een lagere bitbreedte, zoals 8-bit (INT8) of 4-bit (INT4) in plaats van 16-bit. Een 7B-model dat bij FP16 14 GB VRAM vraagt, past bij 4-bit-quantisatie in slechts 4 tot 5 GB. Dit maakt grotere modellen bereikbaar op hardware met minder GPU-geheugen.

Geheugenwinst per quantisatieniveau

De geheugenreductie is direct evenredig met de bitbreedte. FP16 gebruikt 2 bytes per parameter, INT8 gebruikt 1 byte en INT4 gebruikt 0,5 byte. Een 13B-model dat bij FP16 26 GB vraagt, past bij INT8 in 13 GB en bij INT4 in 6 tot 7 GB. Dit maakt inferentie op consumentenhardware of edge-servers realistisch.

Prestatieverlies door quantisatie

Quantisatie gaat gepaard met een zeker kwaliteitsverlies, maar moderne methoden zoals GPTQ en AWQ minimaliseren dit. Bij INT8 is het prestatieverlies in de meeste taken verwaarloosbaar. Bij agressieve 4-bit-quantisatie kan er meer merkbaar kwaliteitsverlies optreden, afhankelijk van het model en de taak. Voor productietoepassingen waarbij nauwkeurigheid kritisch is, is INT8 of FP16 met grotere GPU’s doorgaans de betere keuze. Voor exploratief gebruik of kostenoptimalisatie biedt 4-bit-quantisatie een aantrekkelijk compromis.

De juiste balans tussen GPU-geheugen en modelprestaties hangt dus sterk af van uw specifieke workload. Voor organisaties die LLM-inferentie on-premise willen draaien, is een goede inschatting van VRAM-vereisten de eerste stap. Onze specialisten helpen u bij het samenstellen van een GPU-server op maat die aansluit op de exacte geheugen- en prestatievereisten van uw AI-omgeving.

Veelgestelde vragen

Kan ik meerdere modellen tegelijk draaien op één GPU?

Ja, dat is mogelijk zolang de gecombineerde VRAM-vereisten van alle modellen de capaciteit van de GPU niet overschrijden. In de praktijk betekent dit dat je bij een GPU met 24 GB VRAM bijvoorbeeld twee kleine modellen van 7B bij 4-bit-quantisatie tegelijk kunt laden. Frameworks zoals vLLM en Triton Inference Server ondersteunen multi-model deployments en beheren het VRAM-gebruik automatisch. Houd er wel rekening mee dat de KV-cache en runtime-overhead per model optellen, waardoor de beschikbare ruimte snel krimpt bij meerdere actieve modellen.

Wat is een goede strategie om VRAM-gebruik te minimaliseren zonder in te leveren op kwaliteit?

De meest effectieve strategie is het combineren van INT8-quantisatie met een beperkte contextlengte en een kleine batchgrootte. INT8 halveert het geheugengebruik voor de modelgewichten met minimaal kwaliteitsverlies, terwijl een kortere contextlengte de KV-cache aanzienlijk verkleint. Daarnaast helpt gradient checkpointing bij training om activatiegeheugen te reduceren, ten koste van iets meer rekentijd. Voor inferentie is Flash Attention een efficiënte techniek die de geheugenvoetafdruk van aandachtsberekeningen significant verlaagt zonder de modelkwaliteit te beïnvloeden.

Hoe weet ik of mijn GPU-geheugen een knelpunt is in mijn AI-workload?

De duidelijkste signalen zijn out-of-memory-fouten, een sterk verlaagde GPU-benutting (zichtbaar via nvidia-smi) terwijl de CPU of het RAM hoog belast zijn, en onverwacht trage inferentietijden door CPU-offloading. Tools zoals nvidia-smi, nvitop en PyTorch’s torch.cuda.memory_summary() geven real-time inzicht in het VRAM-gebruik per proces. Als de GPU consistent boven de 90% VRAM-bezetting opereert, is het risico op geheugenfouten bij grotere batches of langere contexten aanzienlijk.

Maakt het uit welk type GPU-geheugen (HBM vs. GDDR) ik gebruik voor LLM-inferentie?

Ja, het type geheugen heeft een grote invloed op de doorvoersnelheid van LLM-inferentie. HBM (High Bandwidth Memory), zoals gebruikt in de H100 en A100, biedt een geheugenbandbreedte van meer dan 3 TB/s, terwijl GDDR6X in consumentenkaarten zoals de RTX 4090 uitkomt op circa 1 TB/s. LLM-inferentie is sterk geheugenbandbreedte-gebonden, wat betekent dat HBM-GPU’s bij grotere modellen en hogere batchgroottes aanzienlijk beter presteren. Voor kleinere modellen of lage-throughput-toepassingen is GDDR6X echter een kosteneffectief alternatief.

Wat zijn de meest gemaakte fouten bij het inschatten van VRAM-vereisten?

De meest voorkomende fout is het uitsluitend rekenen met de modelgewichten en de KV-cache en runtime-overhead vergeten. Een tweede veelgemaakte fout is geen rekening houden met de batchgrootte: elke extra request in een batch vergroot het geheugengebruik proportioneel. Daarnaast onderschatten veel gebruikers het effect van een lange contextlengte op de KV-cache, wat bij 128K-tokencontexten kan oplopen tot tientallen gigabytes extra. Tel altijd een buffer van minimaal 20% boven het theoretische minimum om stabiele werking te garanderen.

Is het mogelijk om LLM-inferentie te draaien zonder een dedicated GPU?

Ja, via CPU-inferentie met frameworks zoals llama.cpp is het mogelijk om LLM’s te draaien op systemen zonder dedicated GPU, waarbij het modelgeheugen uit het systeemgeheugen (RAM) wordt gehaald. De snelheid is echter aanzienlijk lager dan bij GPU-inferentie, typisch tien tot twintig keer trager afhankelijk van de hardware. Voor kleinere modellen tot 7B met 4-bit-quantisatie is CPU-inferentie op een moderne server met voldoende RAM een haalbare optie voor lage-throughput-toepassingen. Voor productieomgevingen met meerdere gelijktijdige gebruikers is een dedicated GPU alsnog sterk aanbevolen.

Hoe schaal ik GPU-geheugen op als mijn modelbehoeften groeien?

De meest flexibele aanpak is het opzetten van een modulaire GPU-infrastructuur die uitbreidbaar is via NVLink of een high-speed GPU-fabric zoals InfiniBand. Begin met een single-GPU-configuratie voor kleinere modellen en schaal op naar multi-GPU-nodes of multi-node-clusters naarmate de modelgrootte of het aantal gelijktijdige gebruikers toeneemt. Tensor parallelisme en pipeline parallelisme zijn de gangbare technieken om modellen efficiënt over meerdere GPU’s te verdelen. Het is verstandig om bij de initiële hardware-aanschaf al rekening te houden met de interconnectmogelijkheden van het systeem, zodat uitbreiding later geen volledige herinvestering vereist.

Gerelateerde artikelen

NCS International

Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
sales@ncs.nl

Meer berichten

Wat is een GPU-server?

GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.


read more

Wat is een AI-server?

Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.


read more