27 oktober 2026
Voor de meeste productie-AI-agents volstaat één krachtige GPU voor lichte inferentietaken, maar in de praktijk zijn twee tot vier GPU’s realistischer zodra je rekening houdt met gelijktijdige gebruikers, modelgrootte en beschikbaarheidseisen. Het exacte aantal hangt sterk af van het model dat je draait, de latentievereisten en hoeveel verzoeken je systeem tegelijkertijd moet verwerken. In dit artikel beantwoorden we de meest gestelde vragen rondom GPU-configuraties voor AI-agents in productie.
Hoeveel GPU’s een AI-agent nodig heeft, wordt bepaald door vier factoren: de grootte van het taalmodel (uitgedrukt in parameters), de vereiste responstijd, het aantal gelijktijdige gebruikers en de beschikbaarheidseisen van de productieomgeving. Samen bepalen deze variabelen of één GPU volstaat of dat je een multi-GPU-opstelling nodig hebt.
Een kleinere agent die draait op een model van zeven miljard parameters stelt heel andere eisen dan een enterprise-agent op basis van een model van zeventig miljard parameters of groter. Bij het kleinere model past het volledige model vaak in het geheugen van één moderne GPU. Bij grotere modellen is modelparallellisme noodzakelijk: het model wordt dan verdeeld over meerdere GPU’s om überhaupt te kunnen draaien.
Naast modelgrootte spelen latentievereisten een grote rol. Als je agent binnen één seconde moet antwoorden, heb je meer rekenkracht nodig dan wanneer een vertraging van vijf seconden acceptabel is. En als je omgeving 24/7 beschikbaar moet zijn, wil je redundantie inbouwen, wat automatisch extra GPU-capaciteit vraagt.
Het GPU-geheugen dat een productie-AI-agent nodig heeft, is minimaal gelijk aan de geheugenvoetafdruk van het model plus ruimte voor de KV-cache en de actieve inferentiebatch. Als vuistregel geldt: een model vereist ruwweg twee bytes per parameter bij half-precision (FP16). Een model van zeven miljard parameters heeft dus minimaal veertien gigabyte GPU-geheugen nodig, exclusief overhead.
In de praktijk reken je altijd met een buffer boven op de modelgrootte. De KV-cache, die tussenliggende berekeningen opslaat om herhaalde tokens efficiënt te verwerken, kan bij langere contexten aanzienlijk groeien. Voor een agent die lange conversaties of documenten verwerkt, kan de KV-cache alleen al meerdere gigabytes per actieve sessie kosten.
Moderne GPU’s voor AI-inferentie, zoals de Nvidia H100 of de nieuwere B200-generatie, bieden geheugenruimte van tachtig tot tweehonderd gigabyte per kaart. Dat maakt het mogelijk om grotere modellen op minder fysieke GPU’s te draaien, wat de totale infrastructuurkosten drukt. Wij leveren via Supermicro GPU-servers voor AI-workloads die precies op dit soort vereisten worden geconfigureerd.
Bij AI-training worden de gewichten van een model iteratief bijgesteld op basis van grote hoeveelheden data, wat enorme hoeveelheden GPU-geheugen en rekenkracht vereist over langere perioden. Bij inferentie draait het model al vast en verwerkt het alleen nieuwe invoer, wat minder geheugen vraagt maar wel lage latentie en hoge doorvoer vereist.
Training is rekenintensief en geheugenintensiever dan inferentie, omdat je naast de modelgewichten ook gradiënten, optimalisatiestaten en activaties in het geheugen moet houden. Dat kan het drievoudige of viervoudige van de pure modelgrootte kosten. Trainingsworkloads draaien bovendien uren tot weken aan een stuk, waarbij GPU-bezetting zo hoog mogelijk moet zijn.
Inferentie in productie stelt andere eisen: je wilt snelle responstijden, efficiënt geheugengebruik en de mogelijkheid om pieken in verzoeken op te vangen. De GPU-configuratie die ideaal is voor training is daardoor zelden optimaal voor productie-inferentie. Veel organisaties kiezen er dan ook voor om trainings- en inferentie-infrastructuur gescheiden te houden, met gespecialiseerde systemen voor elk doel.
Bij meerdere gelijktijdige gebruikers schaal je het benodigde aantal GPU’s op basis van de verwachte piekbelasting, de gemiddelde verzoekduur en de acceptabele wachttijd. Als één GPU comfortabel tien gelijktijdige inferentieverzoeken aankan en je piekbelasting honderd gelijktijdige gebruikers bedraagt, heb je ruwweg tien vergelijkbare GPU’s nodig, plus marge voor pieken.
Moderne inferentieframeworks zoals vLLM en TensorRT-LLM ondersteunen continuous batching, waarmee meerdere verzoeken efficiënt worden samengevoegd in één GPU-run. Dit verhoogt de doorvoer aanzienlijk zonder dat je lineair meer GPU’s hoeft toe te voegen. Toch heeft ook batching grenzen: bij zeer hoge gelijktijdigheid of lange contextvensters neemt de latentie toe en wordt uitschaling onvermijdelijk.
Voor productieomgevingen met variabele belasting is het verstandig om te ontwerpen op het verwachte piekscenario, niet op het gemiddelde. Onderbelasting kost geld, maar overbelasting kost klantvertrouwen. Een goede vuistregel is om twintig tot dertig procent reservecapaciteit in te bouwen boven de verwachte piek.
De juiste GPU-configuratie voor een AI-agent hangt af van het modeltype, de gebruiksfrequentie en de latentievereisten. Lichte agents op kleine modellen volstaan met één GPU met voldoende geheugen, terwijl enterprise-agents op grote taalmodellen of multimodale modellen meerdere GPU’s in een multi-GPU-server vereisen.
Wij configureren Supermicro GPU-servers volledig op maat voor elk van deze scenario’s, van een compacte single-GPU-oplossing tot een multi-rack AI-infrastructuur.
Een GPU-upgrade in productie is noodzakelijk wanneer de latentie structureel boven de acceptabele drempel stijgt, het GPU-geheugen consistent volledig bezet is, of wanneer je een groter of kwalitatief beter model wilt inzetten dat niet meer past op de huidige hardware. Dit zijn de drie meest voorkomende signalen dat je huidige configuratie de groei van je AI-agent niet meer bijhoudt.
Geheugendruk is vaak het eerste zichtbare probleem. Zodra het GPU-geheugen vol is, begint het systeem te throttlen of verzoeken te weigeren. Dit is meetbaar via GPU-monitoringtools en een duidelijk teken dat je ofwel het model moet optimaliseren via kwantisatie, ofwel moet upgraden naar GPU’s met meer geheugen.
Latentieproblemen zijn subtieler maar minstens zo kritisch. Als gebruikers langer moeten wachten dan de afgesproken serviceniveaus toestaan, en dit niet op te lossen is met betere batching of optimalisatie van de inferentiestack, dan is hardware-uitbreiding de volgende stap.
Tot slot drijven modelontwikkelingen upgrades aan. De AI-wereld beweegt snel: nieuwe modelgeneraties bieden aanzienlijk betere prestaties, maar vragen ook meer van de hardware. Supermicro brengt als eerste ondersteuning voor nieuwe Nvidia GPU-generaties op de markt, wat betekent dat organisaties die via ons inkopen eerder toegang hebben tot die verbeterde rekenkracht dan via andere leveranciers. Voor opslag- en serverinfrastructuur die meeschaalt met je AI-omgeving helpen wij je de juiste keuzes te maken, nu en voor de toekomst.
Je kunt zeker beginnen met één GPU en later uitbreiden, maar het is verstandig om je architectuur van meet af aan schaalbaar te ontwerpen. Kies een inferentieframework zoals vLLM dat multi-GPU-opstellingen ondersteunt, zodat je later GPU’s kunt toevoegen zonder de hele stack opnieuw te moeten inrichten. Houd bij de initiële serverkeuze ook rekening met het maximale aantal GPU-slots dat het moederbord ondersteunt, zodat uitbreiding fysiek mogelijk blijft zonder nieuwe hardware aan te schaffen.
Kwantisatie is een techniek waarbij de gewichten van een model worden omgezet naar een lagere precisie, bijvoorbeeld van FP16 naar INT8 of INT4, waardoor het model minder GPU-geheugen inneemt. Een model van zeventig miljard parameters dat normaal honderdveertig gigabyte vereist, kan met INT4-kwantisatie teruggebracht worden naar circa vijfendertig gigabyte. Dit maakt het mogelijk om grotere modellen op minder GPU’s te draaien, al gaat kwantisatie soms gepaard met een lichte afname in modelkwaliteit die je per use case moet evalueren.
Bij modelparallellisme worden complete lagen van het neurale netwerk verdeeld over meerdere GPU’s, terwijl bij tensorparallellisme individuele gewichtsmatrices worden gesplitst en gelijktijdig op meerdere GPU’s worden berekend. Tensorparallellisme levert doorgaans lagere latentie op bij grote modellen, omdat alle GPU’s tegelijk werken aan dezelfde stap in de berekening. Voor productie-inferentie met grote taalmodellen is tensorparallellisme de meest gebruikte aanpak, ondersteund door frameworks als TensorRT-LLM en vLLM.
De meest gebruikte tools voor GPU-monitoring in productie zijn Nvidia DCGM (Data Center GPU Manager), gecombineerd met Prometheus en Grafana voor dashboards en alerting. Belangrijke metrics om bij te houden zijn GPU-geheugengebruik, GPU-bezettingsgraad, temperatuur en het aantal geweigerde of vertraagde inferentieverzoeken. Stel drempelwaarden in op tachtig tot negentig procent geheugengebruik als vroegtijdig waarschuwingssignaal, zodat je tijdig kunt opschalen voordat gebruikers hinder ondervinden.
De meest voorkomende fout is dimensioneren op gemiddelde belasting in plaats van op piekbelasting, waardoor het systeem bij drukte overbelast raakt. Een tweede veelgemaakte fout is de KV-cache onderschatten: bij agents die lange conversaties of grote documenten verwerken, kan de KV-cache het geheugengebruik onverwacht snel laten oplopen. Tot slot vergeten teams regelmatig om redundantie in te calculeren, waardoor een enkele GPU-uitval direct leidt tot downtime in een omgeving die als kritisch wordt beschouwd.
Cloud-GPU’s zijn een goede keuze voor experimenten, variabele workloads of tijdelijke pieken, maar voor productie-AI-agents met een stabiele, voorspelbare belasting zijn on-premise GPU-servers op de lange termijn kostenefficiënter. Bij continue inzet van meerdere GPU’s liggen de cloudkosten al na enkele maanden hoger dan de aanschafkosten van eigen hardware. Daarnaast biedt on-premise meer controle over databeveiliging, netwerklatenties en configuratiemogelijkheden, wat voor enterprise-omgevingen vaak doorslaggevend is.
Als de GPU-bezetting structureel hoog is (boven de negentig procent) en de latentie toch oploopt, is je agent GPU-gebonden en is meer of snellere GPU-capaciteit de oplossing. Is de GPU-bezetting juist laag terwijl de latentie hoog is, dan ligt het knelpunt waarschijnlijk bij de CPU, het netwerk of de dataverwerking vóór en na de GPU-inferentie. Gebruik profileringstools zoals Nvidia Nsight of de ingebouwde statistieken van vLLM om de bottleneck nauwkeurig te lokaliseren voordat je investeert in extra hardware.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl
GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.
Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.