24 oktober 2026
Voor real-time inferentie kies je een GPU met lage latency en hoge geheugenbandbreedte, zoals de Nvidia H100 of L40S. Voor batch-inferentie telt doorvoer het zwaarst, waardoor GPU’s met veel VRAM en rekenkracht per watt, zoals de H100 of A100, de voorkeur verdienen. De juiste keuze hangt dus sterk af van je workload: hoe snel moet een individueel verzoek worden beantwoord, en hoeveel verzoeken verwerk je tegelijk?
In dit artikel beantwoorden we de meest gestelde vragen over GPU-inferentie, zodat je een configuratie kiest die past bij jouw situatie, nu en in de toekomst.
Real-time inferentie verwerkt elk verzoek direct zodra het binnenkomt, met als doel een zo laag mogelijke responstijd. Batch-inferentie verzamelt meerdere verzoeken en verwerkt ze gebundeld, waardoor de totale doorvoer maximaal wordt benut ten koste van directe respons. Het fundamentele verschil zit in de prioriteit: latency versus throughput.
Bij real-time inferentie denk je aan toepassingen zoals chatbots, spraakherkenning, fraudedetectie of medische beeldanalyse waarbij een gebruiker of systeem direct wacht op een antwoord. Elke milliseconde vertraging is merkbaar en soms bedrijfskritisch.
Batch-inferentie past beter bij werklasten waarbij de uitkomst niet onmiddellijk nodig is. Denk aan nachtelijke verwerking van duizenden documenten, het genereren van productaanbevelingen voor een e-commerceplatform, of het analyseren van grote hoeveelheden sensordata. Hier draait het om efficiëntie: zo veel mogelijk werk verzetten met zo min mogelijk GPU-tijd.
De belangrijkste GPU-specificaties voor AI-inferentie zijn VRAM-capaciteit, geheugenbandbreedte, Tensor Core-prestaties (uitgedrukt in TFLOPS) en TDP (vermogensverbruik). Welke specificatie het zwaarst weegt, hangt af van je inferentietype: latency-gevoelige workloads vragen om bandbreedte, doorvoer-intensieve workloads vragen om rekenkracht.
Grote taalmodellen en andere zware AI-modellen passen alleen in het geheugen van een GPU als er voldoende VRAM beschikbaar is. Een model dat niet volledig in het GPU-geheugen past, moet worden opgesplitst over meerdere GPU’s of gedeeltelijk naar systeemgeheugen worden verplaatst, wat de latency sterk verhoogt. Geheugenbandbreedte bepaalt hoe snel modelgewichten worden geladen tijdens inferentie, wat bij real-time toepassingen direct de responstijd beïnvloedt.
Tensor Cores in moderne Nvidia GPU’s versnellen matrixoperaties die centraal staan in vrijwel alle AI-modellen. De ondersteunde precisiemodi, zoals FP16, BF16, INT8 en FP8, bepalen de verhouding tussen nauwkeurigheid en snelheid. Voor batch-inferentie op grote schaal kan kwantisatie naar INT8 of FP8 de doorvoer aanzienlijk verhogen zonder merkbaar kwaliteitsverlies, mits het model daarvoor geschikt is.
Voor real-time inferentie zijn de Nvidia L40S en H100 NVL de meest geschikte GPU’s in 2026. Ze combineren hoge geheugenbandbreedte met lage latency-karakteristieken en ondersteunen geavanceerde precisiemodi. De L40S is specifiek ontworpen voor inferentie-workloads en biedt een goede balans tussen prestatie en energieverbruik.
De H100, beschikbaar in SXM- en PCIe-uitvoering, is de sterkste keuze wanneer je zowel real-time als zware modelinferentie wilt combineren. De NVLink-verbinding bij de SXM-variant maakt het mogelijk meerdere GPU’s als één geheel te laten samenwerken, wat vooral relevant is voor grote taalmodellen die niet op één kaart passen.
Voor kleinere organisaties of minder intensieve real-time toepassingen, zoals eenvoudige beeldclassificatie of kleinere NLP-modellen, zijn de L4 of A30 interessante opties. Ze verbruiken minder energie, zijn compacter en zijn daardoor geschikt voor edge-omgevingen of serverruimtes met beperkte koeling.
Supermicro brengt als een van de eerste fabrikanten nieuwe Nvidia GPU-generaties op de markt, waaronder de B300-serie. Via onze AI-infrastructuuroplossingen leveren wij systemen met de nieuwste GPU’s ruim voordat andere merken die beschikbaar stellen.
Voor batch-inferentie presteren de Nvidia H100 en A100 het best, dankzij hun uitzonderlijk hoge doorvoercapaciteit en grote VRAM-pools. Bij batch-workloads telt de hoeveelheid werk die per seconde kan worden verwerkt, en beide GPU’s blinken daarin uit door hun hoge Tensor Core-dichtheid en brede geheugeninterface.
De H100 SXM biedt de hoogste absolute doorvoer en is de juiste keuze voor organisaties die dagelijks enorme volumes aan inferentieverzoeken verwerken, zoals grote taalmodellen in productie of grootschalige beeldverwerking. De A100 is een beproefde keuze voor batchwerklasten en nog steeds zeer relevant wanneer budget een rol speelt of wanneer de workload niet de nieuwste generatie vereist.
Bij batch-inferentie is ook de verhouding tussen GPU-prestatie en energieverbruik belangrijk. Meer GPU’s in een rack betekent meer warmte en hogere stroomkosten. Een goed geconfigureerde multi-GPU-server met efficiënte koeling en een doordacht vermogensbudget maakt een significant verschil in de totale eigendomskosten over de levensduur van het systeem.
Ja, het is mogelijk om één GPU-server in te zetten voor zowel real-time als batch-inferentie, maar dit vereist een doordachte configuratie en workload-scheduling. In de praktijk worden GPU-resources verdeeld via software zoals Nvidia MIG (Multi-Instance GPU) of via containerplatforms zoals Kubernetes met GPU-partitionering.
Met MIG kun je een enkele H100 opdelen in meerdere geïsoleerde GPU-instanties, elk met eigen VRAM en rekenkracht. Zo kun je één instantie reserveren voor latency-gevoelige real-time verzoeken, terwijl een andere instantie batch-jobs verwerkt op de achtergrond. Dit werkt goed wanneer de workloads niet tegelijkertijd pieken.
De keerzijde is complexiteit. Workload-isolatie, prioriteitstelling en monitoring vragen om extra beheercapaciteit. Voor organisaties met duidelijk gescheiden workloads, of met voldoende schaal voor aparte GPU-clusters, is het operationeel eenvoudiger om real-time en batch-inferentie op afzonderlijke systemen te draaien.
De juiste GPU-serverconfiguratie voor AI-inferentie kies je op basis van vier factoren: het type workload (real-time of batch), de modelgrootte, het vereiste aantal gelijktijdige verzoeken en de beschikbare ruimte en energie in je serveromgeving. Begin met de modelgrootte, want die bepaalt de minimale VRAM-behoefte.
Een praktische aanpak is het volgende stappenplan:
Bij NCS International configureren wij elke inferentieserver volledig op maat. We kijken niet alleen naar de GPU, maar naar het complete systeem: moederbord, CPU, netwerkkoppeling, opslag en koeling. Supermicro’s brede portfolio maakt vrijwel elke combinatie mogelijk, iets wat merken met een beperkte modellenreeks niet kunnen bieden. Neem contact met ons op om jouw situatie te bespreken, dan denken we mee over de configuratie die nu en in de toekomst het beste aansluit op jouw workload.
Meer weten over de opslagcomponent van je AI-infrastructuur? Bekijk ook onze opslagoplossingen voor datacenters voor een volledig beeld van wat er mogelijk is.
Kwantisatie is het proces waarbij modelgewichten worden omgezet naar een lagere precisie, zoals INT8 of FP8 in plaats van FP16 of FP32. Dit verkleint het geheugengebruik en verhoogt de doorvoer aanzienlijk, soms met een factor twee of meer. Je past kwantisatie toe wanneer je throughput wilt maximaliseren bij batch-inferentie of wanneer een model net niet in de beschikbare VRAM past. Let wel op dat niet elk model zonder kwaliteitsverlies te kwantiseren is — test altijd de modelnauwkeurigheid na kwantisatie voordat je het in productie neemt.
Als vuistregel geldt dat een model met 7 miljard parameters in FP16 ongeveer 14 GB VRAM nodig heeft, en in INT8 ongeveer 7 GB. Een 70B-model in FP16 vereist daarmee al circa 140 GB VRAM, wat meerdere GPU’s noodzakelijk maakt. Houd daarnaast rekening met extra geheugen voor de KV-cache bij het verwerken van lange context-vensters, wat het totale VRAM-gebruik tijdens inferentie aanzienlijk kan verhogen. Gebruik tools zoals de Hugging Face Model Memory Calculator om een nauwkeurige schatting te maken voor jouw specifieke model en precisie.
Een veelgemaakte fout is het onderschatten van de VRAM-behoefte: organisaties kiezen een GPU op basis van modelgrootte alleen, zonder rekening te houden met de KV-cache, batch-grootte en framework-overhead. Een tweede veelvoorkomende fout is het negeren van de netwerkbandbreedte tussen GPU’s bij multi-GPU-configuraties — een trage interconnect wordt dan al snel het knelpunt. Tot slot wordt schaalbaarheid vaak over het hoofd gezien: een systeem dat vandaag voldoet, kan over zes maanden al ontoereikend zijn als het modelgebruik groeit. Plan daarom altijd met een marge van 20–30% extra capaciteit.
Nvidia MIG (Multi-Instance GPU) is een technologie waarmee één fysieke GPU — zoals de H100 — wordt opgedeeld in meerdere geïsoleerde instanties, elk met eigen VRAM en rekenkracht. Dit is interessant voor organisaties die meerdere teams of applicaties op dezelfde hardware willen draaien zonder dat ze elkaar beïnvloeden, bijvoorbeeld een combinatie van een real-time chatbot en een nachtelijke batch-pipeline op één server. MIG is ook waardevol voor cloud- en hostingproviders die GPU-capaciteit aan meerdere klanten willen aanbieden. De technologie vereist wel extra beheerkennis en is niet op alle GPU-modellen beschikbaar.
On-premise GPU-inferentie is zinvol zodra je een voorspelbare, continue workload hebt waarbij cloudkosten structureel hoger uitvallen dan de afschrijving van eigen hardware. Ook databescherming en latency zijn doorslaggevende factoren: gevoelige data die de eigen omgeving niet mag verlaten, of toepassingen waarbij elke milliseconde telt, zijn sterke argumenten voor on-premise. Organisaties die experimenteren of piekbelasting hebben, profiteren juist van de flexibiliteit van de cloud. Een hybride aanpak — vaste basiscapaciteit on-premise, piekbelasting in de cloud — is voor veel organisaties de meest kostenefficiënte oplossing.
Voor geoptimaliseerde GPU-inferentie zijn Nvidia TensorRT, vLLM en Triton Inference Server de meest gebruikte frameworks. TensorRT is ideaal voor het maximaliseren van prestaties op Nvidia-hardware door modellen te compileren en te optimaliseren voor een specifieke GPU-architectuur. vLLM is speciaal ontwikkeld voor efficiënte inferentie van grote taalmodellen en maakt gebruik van PagedAttention om de KV-cache efficiënter te beheren. Triton Inference Server van Nvidia biedt een productierijp platform voor het hosten van meerdere modellen tegelijk, met ondersteuning voor dynamische batching en multi-GPU-configuraties.
Begin met het in kaart brengen van je verwachte groei in modelgrootte, aantal gebruikers en verzoeken per seconde over een horizon van twee jaar. Kies een serverplatform dat modulair uitbreidbaar is, zodat je GPU’s kunt toevoegen zonder het gehele systeem te vervangen — Supermicro’s portfolio biedt hier veel flexibiliteit in. Houd ook rekening met de snelle ontwikkeling van GPU-generaties: een systeem dat vandaag toekomstbestendig is, ondersteunt idealiter de komende generatie GPU’s via hetzelfde moederbord of chassis. Plan daarnaast je stroom- en koelingsinfrastructuur ruim van tevoren, want dat zijn de meest tijdrovende componenten om achteraf uit te breiden.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl
GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.
Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.