20 maart 2026
NVLink is een door Nvidia ontwikkelde hogesnelheidsverbinding waarmee meerdere GPU’s direct met elkaar communiceren, zonder tussenkomst van de CPU of het moederbord. Vergeleken met een standaard PCIe-verbinding biedt NVLink een veel hogere bandbreedte en lagere latentie, wat het bij uitstek geschikt maakt voor AI-training, simulaties en andere rekenintensieve workloads. Kort gezegd: als je meerdere GPU’s in één server wilt laten samenwerken alsof het één grote GPU is, dan is NVLink de verbindingstechnologie die dat mogelijk maakt.
NVLink is een directe chip-to-chip-verbindingstechnologie van Nvidia die GPU’s met elkaar koppelt via een eigen, dedicated datapad. Waar een gewone GPU-verbinding via PCIe verloopt en daarmee afhankelijk is van de bandbreedte van het moederbord, creëert NVLink een rechtstreekse brug tussen GPU’s met een veel hogere doorvoersnelheid en lagere latentie.
Het grote verschil zit in hoe data tussen GPU’s stroomt. Bij een standaard PCIe-verbinding moet data eerst terug naar de CPU of het systeemgeheugen voordat het de andere GPU bereikt. Dat kost tijd en bandbreedte. NVLink slaat die omweg over: GPU’s wisselen data direct met elkaar uit, waardoor de communicatie sneller en efficiënter verloopt. Voor workloads waarbij GPU’s intensief met elkaar moeten samenwerken, zoals het trainen van grote taalmodellen of het uitvoeren van complexe simulaties, maakt dat een merkbaar verschil.
NVLink werkt via fysieke connectoren op de GPU die een directe, bidirectionele verbinding vormen met een of meerdere andere GPU’s. In een server worden GPU’s via NVLink-bruggen of via een NVSwitch met elkaar verbonden, waardoor ze een gedeelde geheugenruimte kunnen vormen en data parallel kunnen verwerken zonder vertraging via het systeemgeheugen.
In grotere configuraties speelt de NVSwitch een centrale rol. Deze schakelchip verbindt meerdere GPU’s tegelijkertijd met elkaar in een zogeheten all-to-all-topologie. Elke GPU kan dan rechtstreeks communiceren met elke andere GPU in het systeem, ongeacht de fysieke positie op het moederbord. Dit is precies de architectuur die Nvidia toepast in systemen zoals de DGX-lijn en die terugkomt in Supermicro AI-servers die zijn ontworpen voor grootschalige GPU-workloads.
De bandbreedte die NVLink biedt, schaalt ook mee met de GPU-generatie. Nieuwere GPU-generaties bieden hogere NVLink-bandbreedtes, wat betekent dat een upgrade van de GPU direct leidt tot een hogere interconnectsnelheid zonder dat de infrastructuur volledig hoeft te worden vervangen.
Voor AI-training en high-performance computing biedt NVLink drie concrete voordelen: hogere bandbreedte tussen GPU’s, de mogelijkheid om GPU-geheugen samen te voegen tot één grote geheugenpool, en lagere latentie bij het uitwisselen van tussenresultaten. Dit maakt het mogelijk om grotere modellen te trainen en complexere berekeningen sneller uit te voeren.
Een van de praktische beperkingen bij AI-training is het geheugen per GPU. Een enkele GPU heeft een vaste hoeveelheid VRAM, en grote taalmodellen of neurale netwerken passen daar simpelweg niet altijd in. Met NVLink kunnen GPU’s hun geheugen samenvoegen, zodat het systeem als geheel beschikt over een veel grotere geheugenruimte. Dit maakt het mogelijk om modellen te trainen die anders niet op één GPU zouden passen.
Bij high-performance computing, denk aan klimaatmodellen, moleculaire simulaties of structuuranalyses, wisselen GPU’s voortdurend tussenresultaten uit. De hoge bandbreedte van NVLink zorgt ervoor dat deze uitwisseling niet het knelpunt wordt in de berekening. Simulaties die anders uren duren, lopen daardoor aanzienlijk sneller door.
Het kernverschil tussen NVLink en PCIe in een multi-GPU-setup is bandbreedte en latentie. PCIe biedt een gedeelde verbinding via het moederbord met een beperkte doorvoersnelheid per GPU. NVLink biedt een directe, dedicated verbinding met een veelvoud aan bandbreedte en significant lagere latentie, waardoor GPU’s veel efficiënter samenwerken.
In de praktijk betekent dit dat PCIe prima werkt voor setups waarbij GPU’s relatief onafhankelijk van elkaar opereren, zoals bij rendering of inferentie met kleinere modellen. Zodra GPU’s echter intensief data moeten uitwisselen, zoals bij gedistribueerde AI-training of grote simulaties, wordt PCIe een knelpunt. NVLink lost dat probleem op door de communicatie tussen GPU’s los te koppelen van de PCIe-bus.
Het is ook goed om te weten dat NVLink en PCIe elkaar niet uitsluiten. In veel serverplatforms gebruiken GPU’s NVLink voor onderlinge communicatie, terwijl de verbinding met de CPU en het systeemgeheugen nog steeds via PCIe verloopt. De twee technologieën vullen elkaar aan in plaats van elkaar te vervangen.
Supermicro biedt meerdere serverplatforms die NVLink-configuraties ondersteunen, met name binnen de GPU-geoptimaliseerde systemen voor AI en HPC. Dit zijn doorgaans systemen met een specifiek moederbordontwerp dat is afgestemd op Nvidia GPU’s met NVLink-ondersteuning, zoals de H100, H200 en de nieuwere B200- en B300-generaties.
Concrete voorbeelden zijn Supermicro’s SYS-421GE-serie en de systemen uit de A+- en X14-productlijnen die zijn ontworpen voor meerdere Nvidia GPU’s in een NVLink-topologie. Supermicro onderscheidt zich hierbij doordat het als een van de eerste fabrikanten nieuwe Nvidia GPU-generaties ondersteunt in zijn serverplatforms. Dat betekent dat organisaties die de nieuwste AI-hardware willen inzetten, niet hoeven te wachten op de introductiecycli van grotere merken.
De beschikbaarheid van specifieke configuraties hangt mede af van de marktomstandigheden. Door de hoge vraag naar AI-hardware en de inkoop van volledige productielijnen door grote techbedrijven fluctueren beschikbaarheid en prijzen sterk. Het is verstandig om tijdig te plannen en contact op te nemen met een gespecialiseerde distributeur om te weten wat er op korte termijn leverbaar is.
NVLink is de juiste keuze wanneer je workloads hebt waarbij meerdere GPU’s intensief data met elkaar moeten uitwisselen, het GPU-geheugen een beperkende factor is, of wanneer je de maximale rekenprestaties uit een multi-GPU-systeem wilt halen. Voor inferentie met kleinere modellen of onafhankelijke GPU-taken volstaat een PCIe-setup vaak.
Concreet zijn dit de situaties waarin NVLink duidelijk de voorkeur verdient:
Als je workloads meer onafhankelijk van elkaar draaien, zoals meerdere inferentietaken tegelijk of parallelle renderingjobs, dan levert NVLink minder extra waarde en is een PCIe-gebaseerde multi-GPU-setup vaak kostenefficiënter. De keuze hangt dus direct af van hoe nauw je GPU’s met elkaar moeten samenwerken.
Bij NCS International helpen wij je om die afweging goed te maken. Met onze kennis van het Supermicro-portfolio en jarenlange ervaring met AI- en HPC-infrastructuren configureren wij systemen die precies aansluiten op jouw workloads, nu en in de toekomst. Of je nu op zoek bent naar een compact AI-superworkstation of een volledig uitgerust multi-GPU-serverplatform: wij leveren wat je nodig hebt, inclusief 24/7 on-site garantieservice. Bekijk onze Supermicro-oplossingen en ontdek wat wij voor jouw infrastructuur kunnen betekenen.
NVLink vereist specifieke hardware-ondersteuning: zowel de GPU's als het moederbord moeten zijn ontworpen voor NVLink-gebruik. Je kunt NVLink niet achteraf toevoegen aan een bestaande PCIe-only setup. Als je huidige server al Nvidia GPU's met NVLink-connectoren heeft en een compatibel moederbordontwerp, kun je in sommige gevallen GPU's toevoegen of upgraden. In de meeste situaties betekent de overstap naar NVLink echter een investering in een nieuw, GPU-geoptimaliseerd serverplatform zoals de Supermicro-systemen die speciaal voor deze topologie zijn ontworpen.
Het maximale aantal GPU's dat je via NVLink kunt koppelen, hangt af van de gebruikte GPU-generatie en de schakelarchitectuur. Met een NVSwitch-configuratie, zoals toegepast in Nvidia DGX-systemen en vergelijkbare Supermicro-platforms, kunnen tot 8 GPU's in een volledige all-to-all-topologie worden verbonden. Voor nog grotere clusters worden meerdere NVSwitch-nodes via InfiniBand of NVLink Switch Systems aan elkaar gekoppeld, zoals in Nvidia's GB200 NVL72-rack-architectuur. De schaalbaarheidsgrenzen verschuiven met elke nieuwe GPU-generatie.
NVLink is de onderliggende verbindingstechnologie die twee GPU's direct met elkaar koppelt via een dedicated datapad. NVSwitch is een aparte schakelchip die als kruispunt fungeert en meerdere GPU's tegelijkertijd met elkaar verbindt in een all-to-all-topologie. Zonder NVSwitch kan elke GPU slechts met een beperkt aantal directe NVLink-partners communiceren; met NVSwitch kan elke GPU in het systeem rechtstreeks communiceren met elke andere GPU, ongeacht de fysieke positie. In grootschalige AI-serverplatforms zijn beide technologieën samen onmisbaar voor maximale schaalbaarheid.
NVLink werkt grotendeels transparant voor de software: frameworks zoals PyTorch, TensorFlow en CUDA herkennen automatisch de aanwezige NVLink-topologie via de Nvidia-drivers en passen de communicatie tussen GPU's hierop aan. Je hoeft dus geen handmatige netwerkrouting in te stellen. Wel is het verstandig om te controleren of je gebruikte ML-framework en CUDA-versie zijn geoptimaliseerd voor de NVLink-generatie van jouw GPU's, en om met tools zoals nvidia-smi of NCCL-tests te verifiëren dat de verbindingen correct worden herkend en benut.
Een veelgemaakte fout is het kiezen van GPU's met NVLink-ondersteuning, maar deze plaatsen in een moederbord dat de NVLink-topologie niet volledig ondersteunt, waardoor GPU's toch via PCIe communiceren. Een andere valkuil is het onderschatten van de koeling- en stroomvereisten: GPU's die via NVLink intensief samenwerken, genereren aanzienlijk meer warmte dan onafhankelijk opererende GPU's. Tot slot plannen organisaties soms onvoldoende rekening met de beschikbaarheid van hardware; door de hoge vraag naar AI-GPU's is het verstandig om tijdig te bestellen en samen te werken met een gespecialiseerde distributeur zoals NCS International.
NVLink is primair ontworpen voor workloads met intensieve GPU-to-GPU-communicatie, wat bij AI-training het meest voorkomt. Voor standaard inferentie met kleinere modellen voegt NVLink doorgaans weinig extra waarde toe, omdat GPU's daarbij relatief onafhankelijk van elkaar opereren. Echter, bij het uitvoeren van inferentie met zeer grote modellen die niet op één GPU passen, zoals grote LLM's in productieomgevingen, is NVLink ook bij inferentie cruciaal: het maakt het mogelijk het model over meerdere GPU's te spreiden met minimale communicatievertraging.
NVLink is een langetermijnstrategie van Nvidia en wordt met elke nieuwe GPU-generatie verder doorontwikkeld met hogere bandbreedtes en verbeterde schaalbaarheid. De NVLink-interface zelf evolueert mee, wat betekent dat infrastructuurcomponenten zoals NVSwitch-chassis in sommige gevallen herbruikbaar zijn bij een GPU-upgrade. Supermicro speelt hierop in door nieuwe GPU-generaties snel te ondersteunen in bestaande serverplatformontwerpen, wat de transitiekosten beperkt. Een investering in een NVLink-gebaseerd platform is daarmee een solide basis voor meerdere generaties AI- en HPC-hardware.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl