5 september 2026
NVLink en InfiniBand zijn beide GPU-interconnects, maar ze lossen fundamenteel verschillende problemen op. NVLink verbindt GPU’s direct met elkaar binnen één server of node met extreem hoge bandbreedte en lage latentie. InfiniBand verbindt meerdere servers of nodes met elkaar over een netwerk. De keuze hangt af van de schaal en het type workload. In dit artikel beantwoorden we de meest gestelde vragen over beide technologieën, zodat je precies weet welke interconnect het beste past bij jouw AI-infrastructuur of HPC-omgeving.
Je kiest NVLink wanneer je GPU’s binnen één server maximaal met elkaar wilt laten samenwerken, en InfiniBand wanneer je meerdere GPU-servers in een cluster aan elkaar wilt koppelen. NVLink is de juiste keuze voor single-node AI-training en inferentie waarbij geheugen en bandbreedte tussen GPU’s kritisch zijn. InfiniBand is de aangewezen technologie zodra je workloads over meerdere nodes verdeelt.
In de praktijk zie je dit onderscheid duidelijk terug bij AI-trainingstaken. Een LLM-training op één server met acht GPU’s profiteert enorm van NVLink, omdat de GPU’s elkaars geheugen direct kunnen benaderen. Zodra diezelfde training uitgroeit naar honderden GPU’s verdeeld over tientallen servers, is InfiniBand onmisbaar om de nodes snel en betrouwbaar met elkaar te laten communiceren. De twee technologieën sluiten elkaar niet uit, ze vullen elkaar aan.
NVLink is een directe punt-naar-puntverbinding tussen GPU’s die door Nvidia is ontwikkeld als alternatief voor de traditionele PCIe-bus. De technologie maakt het mogelijk dat GPU’s elkaars geheugenruimte direct benaderen, zonder tussenkomst van de CPU of het systeemgeheugen. Dit resulteert in een dramatisch hogere bandbreedte en significant lagere latentie dan PCIe kan bieden.
Met de huidige generatie Nvidia Blackwell-architectuur (B200/B300) heeft NVLink zich verder ontwikkeld naar NVLink Switch, waarmee tot 576 GPU’s in één fabric kunnen worden verbonden. Dit maakt het mogelijk om een enorme hoeveelheid GPU-geheugen als één grote, uniforme geheugenpool te benaderen. Voor AI-modellen die groter zijn dan het geheugen van één enkele GPU is dit een fundamentele doorbraak. De NVLink Switch Fabric zorgt ervoor dat de bandbreedte tussen GPU’s niet afneemt naarmate er meer GPU’s worden toegevoegd.
InfiniBand is een hoogwaardig netwerkprotocol dat servers met elkaar verbindt via een gespecialiseerde fabric. Als GPU-interconnect stuurt InfiniBand de communicatie tussen GPU’s op verschillende servers via RDMA (Remote Direct Memory Access), waardoor data direct van het geheugen van de ene server naar dat van de andere wordt overgebracht zonder CPU-tussenkomst.
Nvidia’s HDR en NDR InfiniBand bieden respectievelijk 200 Gb/s en 400 Gb/s per poort, met latenties die in de orde van grootte van microseconden liggen. Dit maakt InfiniBand geschikt voor gedistribueerde AI-training en HPC-workloads waarbij knooppunten intensief met elkaar communiceren. De technologie wordt aangestuurd via Nvidia’s NCCL-bibliotheek (NVIDIA Collective Communications Library), die automatisch gebruikmaakt van InfiniBand wanneer dit beschikbaar is. InfiniBand-switches en adapters (HCA’s) zijn daarvoor nodig naast de GPU-servers zelf.
Het grootste prestatieverschil tussen NVLink en InfiniBand zit in bandbreedte en latentie op knooppuntniveau. NVLink levert binnen één node bandbreedtes van meerdere terabytes per seconde tussen GPU’s, terwijl InfiniBand over het netwerk maximaal enkele honderden gigabits per seconde haalt. NVLink wint op snelheid binnen een node; InfiniBand is onvervangbaar voor schaalbaarheid over nodes heen.
Voor AI-workloads die passen binnen één server is NVLink de snelste oplossing. Voor grootschalige gedistribueerde training is InfiniBand de standaard in de industrie.
Ja, NVLink en InfiniBand worden in de meest geavanceerde AI-clusters standaard samen ingezet. NVLink verzorgt de communicatie tussen GPU’s binnen één server, terwijl InfiniBand de communicatie tussen de servers onderling afhandelt. Deze combinatie is precies hoe grote AI-clusters zoals Nvidia DGX SuperPOD zijn opgebouwd.
In de praktijk betekent dit dat een GPU-server met acht Nvidia H100- of B200-GPU’s intern via NVLink communiceert, terwijl elke server via InfiniBand-adapters is aangesloten op een InfiniBand-switch. Tijdens een gedistribueerde trainingsrun verloopt de communicatie tussen GPU’s op dezelfde server via NVLink, en de communicatie tussen servers via InfiniBand. De NCCL-bibliotheek van Nvidia beheert dit automatisch en kiest het optimale communicatiepad. Het resultaat is een architectuur die zowel binnen als tussen nodes maximale prestaties levert. Voor serieuze AI-infrastructuur op schaal is deze gecombineerde aanpak de industriestandaard.
Supermicro biedt een breed portfolio van GPU-servers die zowel NVLink als InfiniBand ondersteunen. De meeste high-end Supermicro GPU-platforms zijn ontworpen rond Nvidia HGX-modules, die NVLink ingebouwd hebben. InfiniBand-ondersteuning wordt toegevoegd via Nvidia ConnectX-adapters die in de PCIe-slots van de server worden geplaatst.
Concrete voorbeelden zijn de Supermicro SYS-821GE-TNHR en vergelijkbare 8-GPU-systemen die zijn uitgerust met NVLink via de HGX H100- of HGX B200-baseboard. Deze systemen hebben meerdere PCIe Gen5-slots beschikbaar voor ConnectX-7 InfiniBand-adapters (NDR, 400 Gb/s). Supermicro heeft als innovatiegedreven merk een sterke reputatie opgebouwd door als eerste de nieuwste Nvidia GPU-generaties te ondersteunen, waaronder de Blackwell B200 en B300. Daardoor kunnen klanten die de nieuwste hardware nodig hebben bij ons terecht ruim voordat andere merken die mogelijkheid bieden.
Wij leveren als grootste en oudste Supermicro-distributeur van Nederland deze systemen volledig geconfigureerd, inclusief de juiste InfiniBand-adapters, kabels en switches voor jouw specifieke clusteromgeving. Of het nu gaat om een compacte setup voor AI-inferentie of een multi-rack HPC-cluster met volledige InfiniBand-fabric, elk systeem wordt op maat samengesteld. Bekijk ons aanbod van opslagoplossingen als je naast GPU-rekenkracht ook schaalbare opslag zoekt die aansluit op jouw GPU-infrastructuur.
InfiniBand wordt doorgaans interessant zodra je workloads over twee of meer nodes verdeelt. In de praktijk zien we dat organisaties die starten met twee tot vier GPU-servers al merkbaar profiteren van InfiniBand, omdat de communicatie-overhead tussen nodes anders een serieuze bottleneck wordt. Voor single-node setups met één tot acht GPU’s is NVLink via een HGX-baseboard voldoende en is InfiniBand niet nodig.
Ja, dat is in de meeste gevallen mogelijk. InfiniBand wordt toegevoegd via een Host Channel Adapter (HCA) zoals de Nvidia ConnectX-7, die in een vrij PCIe-slot van de server wordt geplaatst. Wel is het belangrijk om vooraf te controleren of de server voldoende vrije PCIe Gen5-slots heeft en of de bandbreedte van die slots niet al volledig bezet is door andere componenten. Laat je hierin adviseren, want een verkeerde plaatsing van de HCA kan de prestaties significant beperken.
HDR InfiniBand biedt 200 Gb/s per poort en is de vorige generatie, terwijl NDR InfiniBand de huidige standaard is met 400 Gb/s per poort. Voor nieuwe AI-clusters die zijn gebouwd rond Nvidia H100- of B200-GPU’s is NDR de aanbevolen keuze, omdat de hogere bandbreedte beter aansluit bij de rekenkracht van deze GPU-generaties. HDR kan nog zinvol zijn als budgetoptie of bij uitbreiding van een bestaande HDR-infrastructuur.
Een veelgemaakte fout is het onderschatten van de switchinfrastructuur. Een InfiniBand-adapter in elke server is niet voldoende; je hebt ook de juiste InfiniBand-switches nodig met voldoende poorten en een correcte topologie, zoals een fat-tree of dragonfly-netwerk, om schaalbaarheid en lage latentie te garanderen. Daarnaast wordt de kabelkeuze en -lengte regelmatig over het hoofd gezien, terwijl verkeerde kabels of te lange verbindingen directe invloed hebben op de signaalkwaliteit en prestaties.
De meeste moderne AI-frameworks zoals PyTorch en TensorFlow maken via Nvidia’s NCCL-bibliotheek automatisch gebruik van NVLink en InfiniBand, mits deze correct zijn geïnstalleerd en geconfigureerd. Je kunt dit verifiëren door NCCL-logging in te schakelen met de omgevingsvariabele NCCL_DEBUG=INFO, waarna in de output zichtbaar is welke communicatiepaden worden gebruikt. Als InfiniBand niet wordt herkend, ligt de oorzaak vaak bij ontbrekende drivers voor de ConnectX-adapter of een incorrecte NCCL-versie.
RoCE (RDMA over Converged Ethernet) op 400GbE is een serieus alternatief voor InfiniBand, zeker in omgevingen waar al een Ethernet-infrastructuur aanwezig is of waar beheerssimpliciteit zwaar weegt. InfiniBand behoudt echter een voordeel op het gebied van latentie en consistentie onder hoge belasting, wat bij grootschalige gedistribueerde AI-training meetbaar verschil maakt in trainingstijd. Voor de meest veeleisende HPC- en AI-workloads blijft InfiniBand de industriestandaard, maar RoCE is een valide keuze voor organisaties die prioriteit geven aan kostenbeheersing en beheersgemak.
InfiniBand-hardware, inclusief switches, HCA’s en kabels, voegt een significante kostenpost toe aan een GPU-cluster, maar de return on investment is voor serieuze AI-workloads doorgaans gunstig. Een slecht verbonden cluster waarbij GPU’s op elkaar wachten door netwerkbottlenecks kan de effectieve GPU-benutting terugbrengen tot minder dan 50%, wat betekent dat je de helft van je dure GPU-rekenkracht onbenut laat. Door te investeren in een goede InfiniBand-fabric zorg je ervoor dat de GPU’s maximaal productief blijven, wat de totale kosten per getraind model aanzienlijk verlaagt.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl
GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.
Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.
