1 september 2026
Voor de meeste AI-servers heb je naast GPU-geheugen minimaal 2 tot 4 keer zoveel systeemgeheugen (RAM) nodig als het totale VRAM van je GPU’s. Bij een server met vier GPU’s van elk 80 GB VRAM praat je dus al snel over 512 GB tot 1,5 TB RAM. De exacte hoeveelheid hangt af van je workload: training vraagt doorgaans meer dan inferentie, en grote taalmodellen stellen andere eisen dan computervisietaken. In dit artikel beantwoorden we de meest gestelde vragen rondom RAM in AI-servers, van de basisprincipes tot de juiste configuratiekeuze voor jouw specifieke situatie.
Systeemgeheugen in een AI-server fungeert als werkruimte voor de CPU en als doorvoerlaag tussen opslag, GPU’s en actieve processen. RAM slaat tijdelijk de data op die de processor nodig heeft: datasets, modelbeschrijvingen, tussenresultaten en besturingssysteemprocessen. Zonder voldoende RAM kan de server GPU’s niet snel genoeg voorzien van data, wat de prestaties direct raakt.
Het is belangrijk om RAM en VRAM (het geheugen op de GPU zelf) niet door elkaar te halen. VRAM is geoptimaliseerd voor massaal parallelle berekeningen en wordt gebruikt voor de daadwerkelijke modelinferentie of training. RAM vervult een andere rol: het beheert de datastroom naar en van de GPU’s, buffert invoerdata en ondersteunt de CPU-taken die bij elke AI-workload komen kijken, zoals datapreprocessing, batchsampling en orkestratie van meerdere GPU’s.
Bij AI-workloads is RAM dus geen bijzaak. Het is de infrastructuur waarop GPU’s kunnen presteren. Een tekort aan systeemgeheugen leidt tot swapping naar schijf, hogere latency en in het slechtste geval crashes tijdens training of inferentie.
RAM wordt een bottleneck in een AI-server zodra de hoeveelheid beschikbaar systeemgeheugen kleiner is dan de data die de CPU actief moet verwerken en doorgeven aan de GPU’s. Bij training gaat het om het laden van grote datasets in batches; bij inferentie om het snel beschikbaar hebben van modelgewichten en invoerdata voor realtimeverwerking.
Bij training worden datasets vaak meerdere keren door het model heen gehaald. Als de dataset groter is dan het beschikbare RAM, moet het systeem constant data ophalen van opslag. Dit vertraagt de trainingscyclus aanzienlijk, omdat moderne NVMe-opslag snel is, maar nog altijd veel trager dan RAM. Elke vertraging hier zorgt ervoor dat GPU’s staan te wachten in plaats van te rekenen.
Bij inferentie speelt een ander probleem: als je meerdere verzoeken tegelijk verwerkt (batch-inferentie) of grote taalmodellen draait waarvan de gewichten niet volledig in VRAM passen, moet een deel van het model in RAM worden gehouden. Onvoldoende RAM leidt dan tot geheugenfouten of extreem langzame verwerking doordat het systeem terugvalt op schijfopslag als tijdelijk geheugen.
Als vuistregel geldt: gebruik minimaal 2 keer het totale VRAM-volume als ondergrens voor systeemgeheugen, maar voor productieomgevingen met zware workloads is 4 keer of meer realistischer. Bij een server met acht H100-GPU’s van elk 80 GB VRAM (640 GB totaal) betekent dit minimaal 1,28 TB RAM, met 2,5 TB als comfortabele marge voor veeleisende taken.
Concrete richtlijnen per type workload:
Houd er ook rekening mee dat RAM in 2026 onder druk staat qua beschikbaarheid en prijs door de wereldwijde vraag naar AI-servers. Zeker DDR5-geheugen in hoge capaciteiten is onderhevig aan schaarste en prijsfluctuaties. Het is verstandig om bij de initiële configuratie al te kiezen voor uitbreidbare systemen, zodat je later kunt opschalen zonder het moederbord te vervangen.
Naast de totale capaciteit bepalen drie technische specificaties in belangrijke mate hoe goed RAM presteert in een AI-server: geheugentype, bandbreedte en het aantal kanalen. Voor AI-workloads zijn dit geen details, maar fundamentele keuzes die de doorvoersnelheid naar GPU’s direct beïnvloeden.
Moderne AI-servers draaien op DDR5-geheugen, dat significant hogere bandbreedtes biedt dan DDR4. Supermicro-platforms ondersteunen afhankelijk van het moederbord DDR5 met kloksnelheden variërend van 4800 tot 6400 MT/s en hoger. Kies altijd voor het hoogste geheugentype dat het platform ondersteunt, omdat de bandbreedte direct van invloed is op hoe snel data naar de GPU’s kan worden gestreamd.
High-end serverplatforms zoals die gebaseerd op AMD EPYC of Intel Xeon Scalable ondersteunen acht of meer geheugenkanalen per processor. Meer kanalen betekent meer parallelle geheugenbandbreedte. Bij dual-socketsystemen is het belangrijk om de NUMA-topologie (Non-Uniform Memory Access) in acht te nemen: GPU’s die fysiek dichter bij één socket staan, presteren beter als ze ook geheugen uit die NUMA-node gebruiken. Een verkeerde geheugentoewijzing kan leiden tot onnodige latency, zelfs als de totale RAM-capaciteit ruim voldoende is.
Meer RAM lost prestatieproblemen in een AI-server niet op als de bottleneck ergens anders zit. Als GPU’s onderbezet zijn terwijl de CPU op volle capaciteit draait, is de CPU de beperkende factor. Als de opslagdoorvoer tekortschiet bij het laden van grote datasets, helpt extra RAM alleen als de volledige dataset daarin past. En als VRAM de beperkende factor is, lost systeemgeheugen dat structureel niet op.
Veelvoorkomende situaties waarin meer RAM niet de oplossing is:
De juiste RAM-configuratie voor een AI-server bepaal je door drie vragen te beantwoorden: Wat is de maximale modelgrootte die je draait? Hoe groot zijn je datasets in actief gebruik? En hoeveel parallelle processen of gebruikers moet het systeem ondersteunen? Op basis van die antwoorden kun je de minimale en aanbevolen RAM-capaciteit berekenen.
Een praktische aanpak in stappen:
Wij helpen bij NCS International dagelijks organisaties met het samenstellen van de juiste AI-serveroplossingen voor hun specifieke workload. Of het nu gaat om een compacte inferentieserver voor een ziekenhuis of een multi-rack GPU-cluster voor een onderzoeksinstelling: de RAM-configuratie is altijd maatwerk, afgestemd op het model, de dataset en de verwachte groei. Neem contact op als je wilt sparren over de juiste configuratie voor jouw situatie.
Het is technisch mogelijk om later RAM toe te voegen, mits je platform over vrije geheugenslots beschikt en je de juiste modules kiest die compatibel zijn met de reeds geïnstalleerde RAM. Toch is het verstandig om bij de initiële configuratie al zo dicht mogelijk bij de aanbevolen capaciteit te zitten, omdat gedeeltelijk gevulde geheugenkanalen leiden tot lagere bandbreedte. Bovendien zijn DDR5-modules in hoge capaciteiten onderhevig aan prijsfluctuaties, waardoor uitbreiden later duurder kan uitvallen dan bij aanschaf volledig configureren.
Bij een RAM-tekort tijdens training valt het systeem terug op swapping: data wordt tijdelijk weggeschreven naar schijfopslag en weer ingeladen wanneer nodig. Dit zorgt voor een drastische vertraging van de trainingscyclus, omdat zelfs snelle NVMe-opslag tientallen keren langzamer is dan RAM. In ernstigere gevallen kan het systeem een out-of-memory-fout geven en de trainingstaak volledig afbreken, wat bij lange trainingsruns tot significant tijds- en dataverlies leidt.
Ja, zeker in een productieomgeving. Voor AI-servers wordt sterk aangeraden om ECC-RAM (Error-Correcting Code) te gebruiken, omdat dit geheugenfouten automatisch detecteert en corrigeert. Bitfouten in RAM kunnen bij AI-workloads leiden tot stille datacorruptie in modelgewichten of trainingsresultaten, wat moeilijk te detecteren is. Kies daarnaast voor registered (RDIMM) of load-reduced (LRDIMM) modules die door het serverplatform worden ondersteund, en gebruik bij voorkeur modules van dezelfde fabrikant en partij voor optimale stabiliteit.
De meest betrouwbare manier is het monitoren van geheugengebruik en swapactiviteit tijdens een actieve workload, bijvoorbeeld via tools als htop, vmstat of nvidia-smi in combinatie met een systeemmonitor. Als je ziet dat het RAM-gebruik structureel boven de 85-90% zit, er swapactiviteit plaatsvindt, én de GPU-bezettingsgraad (GPU utilization) lager is dan verwacht, is RAM waarschijnlijk de bottleneck. Profileringstools zoals PyTorch Profiler of NVIDIA Nsight Systems geven gedetailleerder inzicht in waar de vertraging precies ontstaat.
Ja, significant anders. Bij open-source modellen die je zelf host, zijn de volledige modelgewichten aanwezig op jouw server en moet je rekening houden met de RAM- én VRAM-vereisten voor het laden en bufferen van die gewichten. Een model als LLaMA 3 70B vereist al snel 140 GB of meer aan gecombineerd geheugen, afhankelijk van de kwantisatie. Bij gesloten API-modellen zoals GPT-4 draai je alleen een lichte client die verzoeken verstuurt; de geheugenbelasting op jouw eigen infrastructuur is dan minimaal en wordt bepaald door je applicatielaag, niet door het model zelf.
Kwantisatie, het reduceren van de precisie van modelgewichten van bijvoorbeeld FP32 naar INT8 of INT4, verlaagt primair de VRAM-vereiste van het model. Dit heeft indirect ook effect op de RAM-behoefte, omdat er minder data gebufferd hoeft te worden tussen systeemgeheugen en GPU. Echter, sommige kwantisatiemethoden vereisen extra RAM voor de dequantisatiestap tijdens inferentie. Het is dus belangrijk om bij het kiezen van een kwantisatiestrategie ook de bijbehorende RAM-overhead mee te nemen in je configuratieberekening.
Bij systemen met meer dan vier GPU’s, zoals een 8x H100-configuratie, is de NUMA-topologie extra belangrijk: zorg dat geheugen en GPU’s per NUMA-node gebalanceerd zijn om geheugenlatency te minimaliseren. Vul bij dual-socketsystemen beide sockets gelijkmatig met RAM en wijs GPU-processen bij voorkeur toe aan de geheugenkanalen van de dichtstbijzijnde CPU-socket. Overweeg daarnaast het gebruik van LRDIMM-modules bij zeer hoge capaciteiten, omdat deze de elektrische belasting op de geheugencontroller verlagen en zo de stabiliteit bij volledig gevulde geheugenslots verbeteren.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl
GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.
Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.
