26 april 2026
Geheugenbandbreedte is een van de belangrijkste specificaties bij het kiezen van een GPU-server, maar ook een van de meest verkeerd begrepen. Kort gezegd bepaalt het hoe snel een GPU toegang heeft tot zijn eigen geheugen, en dat heeft directe invloed op de prestaties bij AI-training, HPC-berekeningen en andere geheugenintensieve workloads. Om GPU-servers goed te vergelijken op geheugenbandbreedte, kijk je naar het geheugentype (zoals HBM3 of GDDR6X), de totale bandbreedte in GB/s, de geheugencapaciteit en hoe die factoren samen aansluiten bij jouw specifieke werklasten.
In dit artikel leggen we stap voor stap uit hoe je een goede GPU-serververgelijking maakt op basis van geheugenbandbreedte, welke valkuilen je wilt vermijden en hoe je de juiste keuze maakt voor jouw infrastructuur.
Geheugenbandbreedte is de maximale hoeveelheid data die een GPU per seconde kan lezen uit of schrijven naar zijn eigen geheugen, uitgedrukt in gigabytes per seconde (GB/s). Hoe hoger de bandbreedte, hoe sneller de GPU grote hoeveelheden data kan verwerken zonder te wachten. Bij geheugenintensieve workloads zoals AI-inferentie, matrixberekeningen en simulaties is dit direct bepalend voor de doorvoersnelheid.
Een GPU kan nog zo krachtig zijn qua rekenkracht, maar als het geheugen de data niet snel genoeg kan aanleveren, ontstaat er een bottleneck. De processor wacht dan op data in plaats van te rekenen. Dit noemen we memory-bound gedrag, en het is een van de meest voorkomende oorzaken van tegenvallende GPU-prestaties in de praktijk. Geheugenbandbreedte bepaalt dus niet alleen hoe snel een systeem is, maar ook hoe efficiënt het is onder realistische omstandigheden.
De twee dominante geheugentypen in moderne GPU-servers zijn HBM (High Bandwidth Memory) en GDDR (Graphics Double Data Rate). HBM biedt extreem hoge bandbreedte en is ontworpen voor professionele AI- en HPC-toepassingen. GDDR, met name GDDR6 en GDDR6X, is breder inzetbaar en je vindt het in zowel professionele als consumenten-GPU’s. Daarnaast bestaat er LPDDR, maar dat speelt in de servermarkt een kleinere rol.
HBM-geheugen is gestapeld op of direct naast de chip, waardoor de afstand tot de GPU-kern minimaal is en de bandbreedte extreem hoog kan zijn. Dat maakt HBM bijzonder geschikt voor workloads waarbij enorme hoeveelheden data snel beschikbaar moeten zijn, zoals bij het trainen van grote taalmodellen. GDDR zit daarentegen op aparte geheugenchips naast de GPU, wat de productiekosten lager houdt, maar ook de maximale bandbreedte beperkt ten opzichte van HBM.
GDDR6X haalt in moderne GPU’s respectabele bandbreedtes, maar de kloof met HBM3 en HBM3e is aanzienlijk. Voor veeleisende AI-workloads is dat verschil in de praktijk merkbaar. Voor minder geheugenintensieve taken, zoals visualisatie of lichtere inferentie, presteert GDDR prima en biedt het een betere prijs-prestatieverhouding.
Bij een GPU-serververgelijking op geheugenbandbreedte kijk je naar vier factoren: het geheugentype, de totale bandbreedte in GB/s, de geheugencapaciteit in GB en de geheugenklok. Kijk altijd naar de gecombineerde bandbreedte van alle GPU’s in een systeem, niet alleen per kaart. Een server met vier GPU’s telt de bandbreedtes op, maar de interconnect tussen GPU’s speelt dan ook een rol.
Gebruik de volgende aanpak bij het vergelijken:
Vergelijk altijd op basis van jouw specifieke werklasten. Een GPU met de hoogste bandbreedte op papier is niet automatisch de beste keuze als jouw workload meer baat heeft bij meer geheugen of een snellere interconnect.
Het kernverschil tussen HBM en GDDR in GPU-servers zit in architectuur, bandbreedte en kostprijs. HBM is gestapeld geheugen dat direct naast of op de GPU-die zit, met een extreem brede geheugenbus. GDDR gebruikt een smallere bus, maar hogere kloksnelheden om bandbreedte te compenseren. In de praktijk levert HBM significant hogere bandbreedte per watt, wat het aantrekkelijk maakt voor energiezuinige datacenters.
HBM vind je in GPU’s als de Nvidia H100, H200 en de nieuwere B200, die zijn ontworpen voor grootschalige AI-training en wetenschappelijke simulaties. GDDR6X zit in GPU’s als de Nvidia RTX-serie, die ook in professionele inferentieservers worden ingezet. Het prijsverschil is aanzienlijk: HBM-gebaseerde GPU’s kosten beduidend meer, maar leveren ook een veel hogere bandbreedte die bij de juiste workloads de investering rechtvaardigt.
Een praktisch onderscheid: als je grote taalmodellen traint of wetenschappelijke berekeningen uitvoert waarbij het geheugen constant volledig benut wordt, heb je HBM nodig. Werk je met inferentie van kleinere modellen of grafisch intensieve toepassingen, dan biedt GDDR6X vaak voldoende bandbreedte tegen lagere kosten.
De benodigde geheugenbandbreedte hangt af van de workload. Voor AI-training van grote taalmodellen (LLM’s) met miljarden parameters heb je GPU’s nodig met meerdere terabytes per seconde aan gecombineerde bandbreedte. Voor inferentie van kleinere modellen volstaat vaak minder. HPC-workloads zoals klimaatsimulaties of moleculaire dynamica zijn doorgaans sterk memory-bound en profiteren direct van hogere bandbreedte.
Een vuistregel: als je workload veel data per rekenstap verplaatst en de rekenoperaties zelf relatief eenvoudig zijn, is geheugenbandbreedte de beperkende factor. Als je workload juist veel complexe berekeningen uitvoert op een beperkte dataset, is rekenkracht (FLOPS) belangrijker. In de praktijk zijn veel AI-workloads een combinatie van beide, wat het vergelijken van GPU-servers extra genuanceerd maakt.
Kijk bij AI-inferentie ook naar de batchgrootte: grote batches profiteren meer van hoge bandbreedte, terwijl kleine batches eerder worden beperkt door latency dan door doorvoer. Dit maakt de keuze voor een GPU-server afhankelijk van hoe jij je inferentie-infrastructuur inricht.
De meest gemaakte fout bij een GPU-serververgelijking is focussen op één specificatie terwijl je de rest negeert. Bandbreedte in GB/s zegt weinig zonder context over geheugencapaciteit, rekenkracht en interconnect. Een tweede veelgemaakte fout is het vergelijken van GPU’s zonder rekening te houden met de systeemarchitectuur eromheen.
Andere veelvoorkomende fouten zijn:
Een goede vergelijking combineert altijd technische specificaties met de praktische eisen van jouw omgeving. Papieren cijfers zijn een startpunt, geen eindoordeel.
De GPU-server die het beste past bij jouw infrastructuur is de server die de juiste balans biedt tussen geheugenbandbreedte, geheugencapaciteit, rekenkracht en schaalbaarheid voor jouw specifieke werklasten, binnen het beschikbare budget en de fysieke randvoorwaarden van jouw datacenter of serverruimte.
Begin met het in kaart brengen van je werklasten: zijn ze memory-bound of compute-bound? Hoeveel GPU-geheugen heb je nodig voor je modellen of datasets? Hoe belangrijk is schaalbaarheid naar meerdere GPU’s of nodes? Die vragen bepalen of je uitkomt op een HBM-gebaseerde oplossing voor maximale bandbreedte, of op een GDDR-gebaseerde configuratie die efficiënter is voor lichtere workloads.
Bij NCS International helpen wij je bij het maken van die keuze, op basis van 38 jaar ervaring met Supermicro-systemen. Wij leveren geen standaardmodellen, maar configureren elk systeem precies op de behoeften van jouw organisatie, nu en in de toekomst. Omdat Supermicro als eerste nieuwe Nvidia GPU-generaties ondersteunt, inclusief de nieuwste HBM-gebaseerde kaarten, kun je bij ons terecht voor hardware die andere distributeurs nog niet kunnen leveren. En als enige Supermicro-distributeur in Nederland bieden wij 24/7 on-site garantieservice, zodat je infrastructuur altijd beschikbaar blijft. Bekijk onze GPU-serveroplossingen en ontdek welke configuratie het beste aansluit bij jouw infrastructuur.
Je kunt dit bepalen door je GPU-gebruik te monitoren met tools zoals Nvidia Nsight, nvidia-smi of vendor-specifieke profilingtools. Als je GPU-utilization hoog is maar de geheugenbandbreedte volledig benut wordt terwijl de rekenkernen wachten, is je workload memory-bound. Een praktische vuistregel: workloads met veel data-ophaal- en schrijfoperaties ten opzichte van rekenoperaties — zoals grote matrixvermenigvuldigingen bij LLM-inferentie — zijn vrijwel altijd memory-bound en profiteren direct van hogere geheugenbandbreedte.
NVLink en NVSwitch bepalen hoe snel GPU's onderling data kunnen uitwisselen, wat cruciaal is bij workloads die over meerdere GPU's worden verdeeld. Zonder snelle interconnect kan de bandbreedte per GPU hoog zijn, maar wordt de systeembrede prestatie beperkt door de communicatieoverhead tussen GPU's. Bij grootschalige AI-training over meerdere GPU's is een NVSwitch-gebaseerde topologie — zoals in de Nvidia DGX- en HGX-systemen — essentieel om de gecombineerde geheugenbandbreedte ook daadwerkelijk te benutten.
Dat hangt sterk af van de serverarchitectuur en het moederbord. Niet alle systemen ondersteunen het toevoegen van extra GPU's zonder dat de PCIe-bandbreedte per GPU daalt, wat indirect de effectieve geheugenbandbreedte beïnvloedt. Kies bij aanschaf altijd een platform dat schaalbaarheid ondersteunt via NVLink of NVSwitch, en controleer of het moederbord voldoende PCIe Gen5-lanes heeft voor het maximale aantal GPU's dat je op termijn wilt inzetten.
Piekbandbreedte is de theoretische maximale doorvoer onder ideale omstandigheden, zoals vermeld in de officiële specificatiebladen. Effectieve bandbreedte is wat je GPU in de praktijk haalt, afhankelijk van geheugentoegangpatronen, cachegedrag en de aard van de workload. Voor een realistische vergelijking kun je beter benchmarks gebruiken die jouw specifieke workload nabootsen — zoals MLPerf voor AI-training — dan puur op papieren piekwaarden te vertrouwen.
Geheugencapaciteit en bandbreedte zijn complementaire specificaties: hoge bandbreedte is nutteloos als het geheugen te klein is om je model of dataset volledig in te laden. Bij grote taalmodellen met miljarden parameters heb je al snel 80 GB of meer GPU-geheugen per kaart nodig, wat een GPU als de Nvidia H100 of H200 vereist. Zorg er dus voor dat je eerst de minimale geheugencapaciteit voor je workload bepaalt, en daarna pas op bandbreedte vergelijkt binnen die selectie.
Ja, er zijn meerdere bruikbare bronnen. MLPerf biedt gestandaardiseerde AI-trainingsbenchmarks die ook inzicht geven in geheugenprestatieverschillen tussen GPU-generaties. Voor HPC-workloads is de STREAM-benchmark een veelgebruikte maatstaf voor geheugenbandbreedte. Nvidia biedt daarnaast de tool bandwidthTest aan als onderdeel van de CUDA Toolkit, waarmee je de effectieve geheugenbandbreedte van een specifieke GPU direct kunt meten in jouw eigen omgeving.
Naast de aanschafprijs — waarbij HBM-gebaseerde GPU's aanzienlijk duurder zijn — spelen energieverbruik, koeling en beheer een grote rol in de TCO. HBM-GPU's leveren doorgaans meer bandbreedte per watt, wat in een datacenter met hoge energiekosten op termijn kan compenseren voor de hogere aanschafprijs. Reken ook de kosten van downtime mee: een 24/7 on-site garantieservice zoals NCS International biedt, verlaagt het risico op kostbare uitval en maakt onderdeel uit van een complete TCO-berekening.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl
GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.
Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.
