3 mei 2026
GPU’s voor AI-servers zijn duur omdat het extreem complexe chips zijn die speciaal zijn ontworpen voor grootschalige parallelle berekeningen. De productie vereist geavanceerde halfgeleidertechnologie, de vraag overstijgt het aanbod structureel en Nvidia heeft als marktleider een sterke prijspositie. Bovendien gaat het bij AI-GPU’s niet alleen om de chip zelf, maar om een volledig ecosysteem van software, geheugen en interconnects dat de prijs verder opdrijft.
Een GPU (Graphics Processing Unit) is een processor die is ontworpen om duizenden berekeningen tegelijk uit te voeren. Waar een gewone CPU sterk is in het snel afhandelen van een paar taken achter elkaar, kan een GPU honderden of zelfs duizenden taken parallel verwerken. Dat maakt GPU’s bij uitstek geschikt voor AI-workloads, waarbij enorme hoeveelheden data tegelijk moeten worden verwerkt.
AI-modellen, en dan met name grote taalmodellen en beeldherkenningssystemen, bestaan uit miljarden wiskundige bewerkingen die voortdurend worden herhaald. Een CPU zou daar uren over doen. Een moderne AI-GPU doet datzelfde werk in minuten. Zonder GPU’s zou het trainen van AI-modellen zoals we die vandaag kennen simpelweg niet haalbaar zijn binnen een praktische tijdschaal.
Het gaat daarbij niet alleen om snelheid. GPU’s hebben ook een hoge geheugenbandbreedte, wat betekent dat ze grote datasets snel kunnen inladen en verwerken. Dat is bij AI-training en inferentie een absolute voorwaarde. Zonder GPU’s is serieuze AI niet haalbaar.
AI-GPU’s kosten aanzienlijk meer dan consumentenkaarten of zakelijke grafische kaarten, omdat ze op vrijwel elk technisch vlak fundamenteel anders zijn gebouwd. Ze bevatten meer rekenkracht, veel meer geheugen, snellere interconnects en zijn ontworpen voor non-stopgebruik onder zware belasting. Dat is een ander product in een andere klasse, niet simpelweg een duurdere versie van hetzelfde.
Neem het geheugen als voorbeeld. Consumentenkaarten werken met GDDR-geheugen. AI-GPU’s zoals de Nvidia H100 of B200 gebruiken HBM (High Bandwidth Memory), een type geheugen dat op de chip wordt gestapeld en een veel hogere bandbreedte biedt. Dat geheugen is duurder om te produceren en complexer om te integreren.
Daarbovenop komen de softwarelicenties en het ecosysteem. Nvidia’s CUDA-platform, waarmee ontwikkelaars AI-software schrijven, is diep geïntegreerd in de hardware. Klanten betalen niet alleen voor de chip, maar ook voor toegang tot dat hele ecosysteem. Die lock-in geeft Nvidia de ruimte om hogere marges te hanteren dan bij consumentenproducten.
AI-GPU’s vereisen de meest geavanceerde chipproductietechnologie die momenteel beschikbaar is. Ze worden gefabriceerd op de kleinste beschikbare knooppunten, momenteel tot 3 nanometer, wat slechts bij een handvol fabrieken wereldwijd mogelijk is, met TSMC als voornaamste producent. Die productiefaciliteiten kosten tientallen miljarden om te bouwen en te onderhouden.
Het productieproces zelf is bijzonder gevoelig voor fouten. Hoe kleiner de transistors, hoe groter de kans op defecten tijdens de fabricage. Chips die de kwaliteitscontrole niet halen, worden afgekeurd. Bij AI-chips, die letterlijk de grootste en meest complexe chips zijn die ooit in massaproductie zijn gebracht, is het percentage bruikbare chips per wafer relatief laag. Dat verhoogt de kostprijs per werkende eenheid aanzienlijk.
Bovendien vereist de productie van HBM-geheugen, geavanceerde koelsystemen en de NVLink-interconnects die GPU’s in een server met elkaar verbinden elk hun eigen gespecialiseerde productieprocessen. Al die componenten komen samen in één systeem, en elk onderdeel heeft zijn eigen aanvoerketen met eigen beperkingen.
Schaarste is een van de grootste prijsbepalende factoren voor AI-GPU’s. De vraag vanuit grote techbedrijven, cloudproviders en AI-start-ups overtreft al jaren het beschikbare aanbod. Dat creëert een markt waarin kopers soms maanden wachten op levering en waarin de prijs op de secundaire markt ver boven de officiële adviesprijs uitstijgt.
Grote spelers zoals Microsoft, Google, Meta en Amazon kopen GPU’s in enorme hoeveelheden, soms hele productieruns vooruit. Dat laat minder ruimte voor kleinere afnemers en drijft de wachttijden op. Voor organisaties die snel willen opschalen, is dat een reëel probleem.
De productiesnelheid kan ook niet zomaar omhoog. Het bouwen van nieuwe chipfabrieken duurt jaren en kost enorme bedragen. TSMC en andere fabrikanten investeren wel in uitbreiding, maar die capaciteit komt pas op de langere termijn beschikbaar. Tot die tijd blijft de balans tussen vraag en aanbod scheef en blijven de prijzen onder opwaartse druk staan.
Nvidia bepaalt zijn prijzen op basis van de waarde die de GPU levert, niet alleen op basis van de productiekosten. Omdat Nvidia’s AI-GPU’s de standaard zijn in de industrie en concurrenten als AMD en Intel voor de meeste AI-workloads nog geen gelijkwaardig alternatief bieden, heeft Nvidia een sterke onderhandelingspositie. Dat vertaalt zich in marges die in de halfgeleiderindustrie uitzonderlijk hoog zijn.
Nvidia werkt ook met een gelaagde productlijn. Van minder krachtige instapmodellen tot topchips voor datacentergebruik: elk segment heeft zijn eigen prijsniveau. De duurste modellen zijn bedoeld voor grootschalige AI-training en inferentie bij grote organisaties, en de prijs weerspiegelt de verwachte ROI die die klanten kunnen realiseren.
Daarnaast speelt de softwarekant een grote rol. Nvidia investeert zwaar in CUDA, cuDNN en andere AI-bibliotheken. Die investeringen worden indirect terugverdiend via de hardwareverkoop. De hardware en software zijn zo sterk met elkaar verweven dat klanten die overstappen naar een alternatief ook hun volledige softwarestack moeten herbouwen, wat de overstapkosten hoog maakt en Nvidia’s prijspositie versterkt.
De totale kosten van een AI-server bestaan uit veel meer dan alleen de GPU’s. Naast de grafische kaarten zelf moet je rekening houden met het moederbord, de processor, het systeemgeheugen, de opslag, de voedingseenheden, de koeling en de serverbehuizing. Al die componenten moeten compatibel zijn met de gekozen GPU’s en samen een stabiel systeem vormen.
Voor AI-servers geldt bovendien dat meerdere GPU’s per systeem normaal zijn. Een server met vier of acht high-end GPU’s heeft ook een krachtige CPU nodig, voldoende PCIe-bandbreedte, snelle NVMe-opslag voor data-aanvoer en een geavanceerd koelsysteem. De GPU’s zijn doorgaans het duurste onderdeel, maar de rest van het systeem is zeker niet gratis.
Tel daarbij de kosten op voor installatie, netwerkkoppelingen, rackruimte in het datacenter en eventueel extra stroomvoorziening. En vergeet de beheerkosten niet: AI-servers vragen om specifieke kennis voor configuratie, optimalisatie en onderhoud. De totale eigendomskosten over drie tot vijf jaar liggen daardoor aanzienlijk hoger dan alleen de aanschafprijs.
Investeren in een eigen on-premise AI-server is verstandig wanneer je AI-workloads structureel en voorspelbaar zijn, wanneer databescherming of latency een rol speelt, of wanneer de cloudkosten op termijn hoger uitvallen dan de investering in eigen hardware. Voor organisaties die continu AI-modellen draaien, is eigen hardware op de middellange termijn vrijwel altijd voordeliger dan cloudgebruik.
De cloud is handig om te experimenteren en voor wisselende belasting. Maar zodra je weet wat je workload is en je die structureel nodig hebt, betaal je in de cloud voortdurend voor capaciteit die je ook eenmalig had kunnen kopen. Dat omslagpunt ligt voor veel organisaties eerder dan ze denken.
Daarnaast geeft eigen hardware controle. Je data blijft intern, je bent niet afhankelijk van de beschikbaarheid of prijswijzigingen van een cloudprovider en je kunt de hardware precies configureren voor jouw specifieke workload. Voor sectoren zoals de zorg, financiële dienstverlening of defensie, waar datasoevereiniteit zwaar weegt, is een on-premise AI-server vaak de enige reële optie.
Bij ons, NCS International, helpen we organisaties dagelijks bij het maken van precies die afweging. Als grootste en oudste Supermicro-distributeur van Nederland leveren wij volledig op maat geconfigureerde AI-serveroplossingen die aansluiten op jouw workload, je budget en je toekomstplannen. Supermicro ondersteunt nieuwe Nvidia-GPU-generaties als eerste, wat betekent dat wij de nieuwste AI-hardware kunnen leveren ruim voordat andere merken dat kunnen. Wil je weten wat een on-premise AI-server voor jouw organisatie betekent? Neem contact met ons op en we denken graag met je mee.
Bij cloudgebruik betaal je per uur of per maand voor GPU-capaciteit, wat flexibel is maar op de lange termijn duur uitvalt bij structurele workloads. Een eigen GPU-server vraagt een hogere initiële investering, maar de totale eigendomskosten over drie tot vijf jaar zijn voor continue workloads doorgaans aanzienlijk lager. De vuistregel: als je meer dan 50-60% van de tijd GPU-capaciteit nodig hebt, is eigen hardware financieel vrijwel altijd voordeliger.
Een veelgemaakte fout is te focussen op alleen de GPU en de rest van het systeem onderschatten — denk aan onvoldoende CPU-bandbreedte, trage opslag of een koelsysteem dat de thermische belasting niet aankan. Een andere fout is te weinig GPU-geheugen inkopen voor de beoogde modellen, waardoor je al snel tegen limieten aanloopt. Tot slot onderschatten organisaties regelmatig de beheerkosten en de specifieke kennis die nodig is voor configuratie en optimalisatie van AI-hardware.
De keuze hangt af van het type workload: training van grote modellen vraagt om maximale rekenkracht en veel HBM-geheugen (zoals de Nvidia H100 of B200), terwijl inferentie-workloads soms prima draaien op krachtigere middenklasse GPU's tegen een lagere kostprijs. Kijk ook naar de omvang van de modellen die je wilt draaien — het GPU-geheugen moet groot genoeg zijn om het volledige model in te laden. Een gespecialiseerde leverancier kan op basis van jouw specifieke use case een concrete aanbeveling doen.
AMD brengt met zijn MI-serie steeds concurrerendere AI-GPU's uit, en ook Intel investeert in zijn Gaudi-accelerators voor AI-workloads. Het grote struikelblok blijft echter het software-ecosysteem: de meeste AI-frameworks en -bibliotheken zijn diep geoptimaliseerd voor Nvidia's CUDA-platform, waardoor overstappen aanzienlijke aanpassingen in de softwarestack vereist. Op de langere termijn zal meer concurrentie de prijsdruk verhogen, maar op korte termijn blijft Nvidia dominant.
Een kwalitatief gebouwde AI-server heeft een technische levensduur van vijf tot zeven jaar, maar de praktische levensduur voor AI-workloads ligt vaak op drie tot vier jaar vanwege de snelle ontwikkeling van nieuwe GPU-generaties. Het moment om te upgraden is wanneer nieuwe modellen structureel niet meer passen in het beschikbare GPU-geheugen, of wanneer de rekenkracht een bottleneck wordt voor jouw productiviteit. Door te kiezen voor een server met uitbreidbare architectuur kun je de levensduur verlengen door GPU's te vervangen zonder het hele systeem te hoeven vervangen.
Een high-end AI-GPU zoals de Nvidia H100 heeft een TDP (thermisch vermogen) van 700 watt; een server met acht van deze GPU's verbruikt daarmee al meer dan 6 kilowatt aan GPU-vermogen alleen, exclusief de rest van het systeem. Op jaarbasis lopen de stroomkosten voor een volledig belaste AI-server al snel op tot tienduizenden euro's, afhankelijk van je energietarief. Koeling is evenredig: zorg dat je datacenter of serverruimte voldoende koelcapaciteit heeft, en overweeg bij hoge dichtheden vloeistofkoeling als efficiënter alternatief voor luchtkoeling.
Ja, en dat is voor veel organisaties juist de verstandige aanpak: begin met een server met twee of vier GPU's voor de eerste productie-workloads en schaal op zodra de behoefte groeit. Kies daarvoor een platform dat uitbreidbaar is — met voldoende PCIe-slots, een krachtige genoeg voedingseenheid en een koelsysteem dat ook een volledig bezette configuratie aankan. Zo investeer je gefaseerd en voorkom je dat je te vroeg te veel capaciteit aanschaft die onbenut blijft.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl
GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.
Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.
