30 maart 2026
Het optimale aantal GPU’s voor een distributed-training-setup hangt af van de omvang van je model, de beschikbare bandbreedte tussen GPU’s en de mate van schaalbaarheid die je workloads vereisen. Als vuistregel geldt: begin met het minimumaantal GPU’s waarin je model in het geheugen past en schaal daarna op op basis van de gewenste trainingssnelheid en je budget. Voor kleinere modellen volstaan vaak 4 tot 8 GPU’s. Voor grote taalmodellen (LLM’s) en andere zware AI-workloads werk je al snel met tientallen of honderden GPU’s, verdeeld over meerdere nodes.
De keuze voor de juiste GPU-infrastructuur is daarmee een van de meest bepalende technische beslissingen bij het opzetten van een AI-trainingsomgeving. In dit artikel beantwoorden we de meest gestelde vragen over distributed training, GPU-aantallen en de factoren die je keuze bepalen.
Distributed training is een techniek waarbij een machinelearningmodel gelijktijdig op meerdere GPU’s of meerdere machines wordt getraind. In plaats van alle rekenkracht op één GPU te concentreren, verdeel je het werk over een cluster van GPU’s die samenwerken om het trainingsproces te versnellen. Het aantal GPU’s bepaalt direct hoe snel je model convergeert en hoeveel data je per tijdseenheid kunt verwerken.
De reden dat het aantal GPU’s zo belangrijk is, zit in de relatie tussen rekenkracht en trainingstijd. Moderne AI-modellen, zeker grote taalmodellen en beeldherkenningsnetwerken, vereisen enorme hoeveelheden berekeningen. Op één GPU kan dit weken duren. Met een goed geconfigureerd cluster van meerdere GPU’s breng je die tijd terug naar dagen of zelfs uren. Maar het is geen lineaire relatie: meer GPU’s toevoegen levert niet automatisch evenredig meer snelheid op. Communicatie-overhead, geheugenlimieten en de architectuur van je model spelen allemaal een rol.
Het minimaal benodigde aantal GPU’s voor distributed training is het aantal dat nodig is om je model volledig in het GPU-geheugen te laden. Voor kleinere modellen kan dat één of twee GPU’s zijn. Voor grote modellen met miljarden parameters heb je al snel 8, 16 of meer GPU’s nodig, alleen al om het model te kunnen laden, nog los van de gewenste trainingssnelheid.
Een praktische benadering is om te beginnen met één node met meerdere GPU’s, bijvoorbeeld 4 of 8, en te meten hoe de GPU-benutting zich verhoudt tot de trainingssnelheid. Pas als je GPU-benutting consistent hoog is en je trainingstijd nog steeds te lang is, heeft het zin om naar een multi-node-setup te schalen. De gewenste doorlooptijd van experimenten, de grootte van je dataset en de complexiteit van je modelarchitectuur zijn de drie meest bepalende factoren bij het vaststellen van het benodigde aantal GPU’s voor jouw specifieke situatie.
Data parallelism en model parallelism zijn twee fundamenteel verschillende manieren om een GPU-server voor AI-training te benutten. Bij data parallelism staat een kopie van het volledige model op elke GPU, maar verwerkt elke GPU een ander deel van de trainingsdata. Bij model parallelism is het model zelf verdeeld over meerdere GPU’s, waarbij elke GPU een ander deel van het model beheert.
Data parallelism is de meest gebruikte aanpak en werkt goed wanneer je model volledig in het geheugen van één GPU past. De gradiënten worden na elke stap gesynchroniseerd tussen alle GPU’s, waarna het model gezamenlijk wordt bijgewerkt. Dit is relatief eenvoudig te implementeren en schaalt goed zolang de communicatiebandbreedte toereikend is.
Model parallelism is nodig wanneer je model te groot is voor het geheugen van één GPU. Je verdeelt de lagen van het netwerk over meerdere GPU’s. Dit is complexer om te implementeren en stelt hogere eisen aan de interconnect tussen GPU’s, omdat data voortdurend tussen de GPU’s heen en weer moet worden gestuurd. In de praktijk combineren veel grootschalige setups beide technieken; dat wordt ook wel pipeline parallelism of tensor parallelism genoemd.
De schaalbaarheid van een GPU-cluster voor distributed training wordt bepaald door vier factoren: de interconnectbandbreedte tussen GPU’s, de CPU- en geheugensnelheid van de host, de opslagdoorvoer voor het laden van trainingsdata en de efficiëntie van de gebruikte trainingsframeworks. Als een van deze factoren een bottleneck vormt, profiteer je minder van extra GPU’s dan je zou verwachten.
De interconnect is daarbij vaak de meest bepalende factor. GPU’s die via NVLink of InfiniBand met elkaar communiceren, presteren aanzienlijk beter dan systemen die afhankelijk zijn van standaard PCIe of Ethernet voor GPU-to-GPU-communicatie. Hoe meer GPU’s je toevoegt, hoe zwaarder de belasting op het netwerk wordt. Een goed ontworpen cluster besteedt daarom net zoveel aandacht aan de netwerkarchitectuur als aan de GPU’s zelf. Daarnaast geldt: trainingsframeworks zoals PyTorch en TensorFlow schalen beter wanneer ze specifiek zijn geconfigureerd voor distributed workloads, bijvoorbeeld via NCCL voor GPU-communicatie.
Meer GPU’s toevoegen wordt inefficiënt wanneer de communicatie-overhead groter wordt dan de winst in rekenkracht. Dit punt, ook wel het punt van afnemende meeropbrengst, bereik je sneller dan je denkt. In de praktijk zie je dat de schaalbaarheidsefficiëntie al bij 8 tot 16 GPU’s begint te dalen als de netwerkarchitectuur of het trainingsframework niet op grote clusters is afgestemd.
Een concrete indicator is de GPU-benutting: als je GPU’s slechts 50 tot 60 procent van de tijd actief rekenen en de rest wachten op data of synchronisatie, dan helpt een extra GPU je niet verder. Andere signalen zijn een stijgende communicatietijd per iteratie, toenemende variabiliteit in trainingssnelheid of een dalende throughput per GPU naarmate je het cluster uitbreidt. Het is dan verstandiger om te investeren in snellere interconnects, betere dataopslag of een efficiënter trainingsframework voordat je extra GPU’s toevoegt.
Supermicro biedt meerdere serverplatforms die specifiek zijn ontworpen voor GPU-intensieve AI-workloads. De meest relevante systemen voor distributed training zijn de SYS-821GE-TNHR en vergelijkbare 8-GPU-systemen, de A+-serverlijn met ondersteuning voor meerdere PCIe Gen5-GPU’s en de SuperBlade-configuraties voor hoge dichtheid in een datacenteromgeving. Supermicro ondersteunt als een van de eerste fabrikanten nieuwe Nvidia-GPU-generaties, waaronder de H100, H200 en de nieuwste B300-serie.
Wat Supermicro onderscheidt voor distributed-training-setups is de flexibiliteit in configuratie. Je kiest het aantal GPU-slots, het type interconnect, de hoeveelheid systeemgeheugen en de opslagcapaciteit op basis van jouw specifieke workloads. Dat is een groot voordeel ten opzichte van merken die werken met vaste modelconfiguraties. Voor multi-node-setups biedt Supermicro ook systemen met ingebouwde InfiniBand-ondersteuning, wat de GPU-to-GPU-communicatie over nodes heen aanzienlijk versnelt. Dit maakt Supermicro-hardware een sterke keuze als GPU-server voor AI-training op schaal.
Het opzetten van een distributed training-infrastructuur begint met het in kaart brengen van je modelgrootte, de gewenste trainingssnelheid en de beschikbare ruimte en stroomvoorziening. Op basis daarvan bepaal je hoeveel GPU’s je nodig hebt, welk interconnecttype je kiest en hoe je de opslag inricht. Daarna kies je een trainingsframework zoals PyTorch Distributed of Horovod en configureer je de communicatiebackend.
Een gefaseerde aanpak werkt het beste. Start met één node met meerdere GPU’s, valideer je trainingsworkload en meet de schaalbaarheidsefficiëntie voordat je naar meerdere nodes uitbreidt. Zo voorkom je dat je investeert in hardware die je niet volledig benut. Zorg er ook voor dat je opslaginfrastructuur snel genoeg is om de GPU’s continu van data te voorzien: trage dataopslag is een veelvoorkomende bottleneck die de winst van extra GPU’s tenietdoet.
Wil je hulp bij het samenstellen van de juiste infrastructuur voor jouw AI-trainingsworkloads? Wij helpen je graag bij het bepalen van de optimale configuratie, van het aantal GPU’s tot de juiste interconnect en opslagopzet. Bekijk onze Supermicro-oplossingen of neem direct contact met ons op. Als grootste en oudste Supermicro-distributeur van Nederland beschikken wij over de technische kennis en het productportfolio om elke distributed-training-setup op maat te configureren, inclusief 24/7 on-site garantieservice.
Bij single-node multi-GPU training draaien alle GPU's in één fysieke server en communiceren ze via snelle interne interconnects zoals NVLink, wat de latency laag houdt. Bij multi-node training zijn de GPU's verdeeld over meerdere servers, verbonden via een netwerk zoals InfiniBand of Ethernet. Multi-node setups bieden meer schaalbaarheid, maar vereisen een zorgvuldige netwerkarchitectuur om communicatievertraging te minimaliseren. Begin altijd met een single-node setup en schaal pas naar multi-node als je de grenzen van één server bereikt.
Monitor tijdens het trainen de GPU-benutting met tools zoals nvidia-smi of PyTorch Profiler. Als je GPU-benutting structureel onder de 80 procent ligt, is er vrijwel zeker een bottleneck elders in je systeem, zoals trage dataopslag of netwerkcommunicatie. Controleer ook de data-loading tijd per batch: als het laden van data langer duurt dan de forward- en backward pass samen, is je opslaginfrastructuur het knelpunt. In dat geval helpt snellere NVMe-opslag of een parallel bestandssysteem zoals Lustre of GPFS meer dan extra GPU's toevoegen.
Een van de meest voorkomende fouten is het toevoegen van GPU's zonder eerst de schaalbaarheidsefficiëntie te meten op een kleinere setup. Hierdoor investeer je mogelijk in hardware die je niet volledig benut. Een andere veelgemaakte fout is het onderschatten van de opslagvereisten: GPU's die wachten op data zijn een stille maar kostbare bottleneck. Tot slot vergeten veel teams de batch size aan te passen bij het opschalen; bij distributed training moet je de globale batch size en de learning rate zorgvuldig afstemmen om convergentieproblemen te voorkomen.
Ja, cloudproviders zoals AWS, Google Cloud en Azure bieden GPU-clusters aan die je per uur kunt huren, wat ideaal is voor experimenteren of incidentele grote workloads. Voor structurele, intensieve AI-trainingsworkloads is on-premise hardware op de lange termijn vaak kostenefficiënter, omdat je de vaste kosten van cloudinstances vermijdt en volledige controle hebt over de configuratie. Een hybride aanpak, waarbij je basisworkloads on-premise uitvoert en piekbelasting naar de cloud offloadt, is voor veel organisaties de meest pragmatische keuze.
PyTorch Distributed is momenteel de meest gebruikte keuze voor nieuwe projecten, dankzij de native ondersteuning voor NCCL en de actieve community rondom grote taalmodellen. Horovod is een goede optie als je een bestaande TensorFlow- of Keras-codebase hebt, omdat het framework-agnostisch is en relatief eenvoudig toe te voegen is aan bestaande code. Voor zeer grootschalige LLM-training zijn gespecialiseerde frameworks zoals DeepSpeed of Megatron-LM het overwegen waard, omdat ze specifieke optimalisaties bieden voor model parallelism en geheugenefficiëntie die standaard frameworks niet bieden.
Mixed precision training is een techniek waarbij je modelgewichten en berekeningen deels in 16-bit (FP16 of BF16) uitvoert in plaats van de standaard 32-bit precisie. Dit halveert het geheugengebruik per GPU, waardoor je grotere modellen op minder GPU's kunt laden of je batch size kunt verdubbelen op hetzelfde aantal GPU's. Moderne GPU's zoals de Nvidia H100 en B300 hebben speciale Tensor Cores die FP16- en BF16-berekeningen aanzienlijk versnellen. Mixed precision training is dan ook vrijwel standaard in moderne AI-trainingsworkflows en is eenvoudig te activeren via PyTorch's torch.cuda.amp module.
De doorlooptijd hangt sterk af van de complexiteit van de setup en de beschikbare expertise. Een single-node multi-GPU setup met een bestaand framework zoals PyTorch Distributed kan een ervaren team in één tot twee dagen configureren en valideren. Een multi-node setup met InfiniBand-netwerken, gedeelde opslag en geoptimaliseerde communicatiebackends vraagt doorgaans één tot drie weken, inclusief testen en benchmarken. Door te kiezen voor gecertificeerde hardware van een gespecialiseerde leverancier, inclusief technische ondersteuning, verkort je de implementatietijd aanzienlijk en vermijd je veelvoorkomende configuratieproblemen.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl