Voor GPU-servers met een hoog vermogen bestaan er vier hoofdtypen koelingsoplossingen: luchtkoeling, direct liquid cooling (DLC), immersion cooling en rear-door heat exchangers. Welke methode het beste past, hangt af van het vermogensniveau van je GPU’s, de beschikbare datacenterinfrastructuur en je budget. Moderne AI-servers met meerdere high-end GPU’s produceren zoveel warmte dat luchtkoeling steeds vaker tekortschiet en vloeistofkoeling de voorkeur krijgt.

Waarom hebben GPU-servers met een hoog vermogen speciale koeling nodig?

GPU-servers met een hoog vermogen hebben speciale koeling nodig omdat moderne AI-GPU’s per kaart honderden watt aan warmte produceren. Een server met meerdere GPU’s genereert daardoor al snel meerdere kilowatt aan warmte per rackunit. Standaard luchtkoeling is simpelweg niet ontworpen voor die warmtedichtheid, waardoor temperaturen snel oplopen en prestaties en hardware in gevaar kunnen komen.

GPU’s voor AI-training en inferentie werken continu op hoog vermogen, anders dan traditionele CPU-workloads die pieken en dalen kennen. Een on-premise AI-server met acht high-end GPU’s kan een thermisch vermogen hebben dat vergelijkbaar is met dat van een elektrische kachel. Zonder adequate koeling verlagen de GPU’s hun kloksnelheid om oververhitting te voorkomen, wat direct ten koste gaat van de rekenprestaties. In het ergste geval leiden hoge temperaturen tot voortijdige hardwarestoringen, wat in bedrijfskritische omgevingen enorme gevolgen kan hebben.

Naast de hardware zelf speelt ook de datacenteromgeving een rol. Traditionele datacenters zijn gebouwd op een gemiddelde rackdichtheid van enkele kilowatt per rack. Moderne GPU-servers kunnen die limiet ruimschoots overschrijden, wat betekent dat ook de koelingsinfrastructuur van het datacenter moet meeschalen.

Welke koelingsmethoden bestaan er voor GPU-servers?

Voor GPU-servers bestaan er vier gangbare koelingsmethoden: luchtkoeling via ventilatoren, direct liquid cooling waarbij koelvloeistof direct langs warmtebronnen stroomt, immersion cooling waarbij hardware volledig in een dielektrische vloeistof wordt ondergedompeld, en rear-door heat exchangers die warme lucht aan de achterkant van het rack opvangen.

Elke methode heeft zijn eigen toepassingsgebied. Luchtkoeling is de meest vertrouwde en goedkoopste oplossing, maar heeft moeite met de hoge warmtedichtheid van AI-werklasten. Direct liquid cooling biedt een aanzienlijk hogere koelcapaciteit en is inmiddels breed beschikbaar in moderne GPU-servers. Immersion cooling is de meest geavanceerde optie, maar vraagt ook de meeste aanpassingen aan de bestaande infrastructuur.

Rear-door heat exchangers vormen een interessante tussenoplossing: ze werken samen met de bestaande luchtkoeling van een server, maar vangen de warme uitlaatlucht op met een watergekoeld paneel aan de achterkant van het rack. Dit maakt ze relatief eenvoudig te integreren, zonder grote aanpassingen aan de servers zelf.

Wat is het verschil tussen luchtkoeling en vloeistofkoeling bij GPU-servers?

Het belangrijkste verschil is de koelcapaciteit: luchtkoeling kan doorgaans tot ongeveer 30 tot 40 kilowatt per rack aan, terwijl vloeistofkoeling geschikt is voor rackdichtheden van 100 kilowatt en meer. Vloeistof geleidt warmte veel efficiënter dan lucht, waardoor het beter presteert bij de hoge vermogensdichtheid van moderne GPU-servers.

Luchtkoeling: vertrouwd maar beperkt

Luchtgekoelde GPU-servers gebruiken krachtige ventilatoren om koele lucht door de behuizing te trekken, langs koelribben op de GPU’s en andere componenten. Dit systeem is eenvoudig te onderhouden en vereist geen aanpassingen aan de waterinfrastructuur van een datacenter. Voor servers met een beperkt aantal GPU’s of minder intensieve werklasten blijft luchtkoeling een praktische keuze.

Vloeistofkoeling: hogere capaciteit, meer infrastructuur

Vloeistofkoeling brengt een koelmedium direct in de buurt van de warmtebronnen, wat de warmteoverdracht drastisch verbetert. De keerzijde is dat je datacenter moet beschikken over een koelwaterinfrastructuur, leidingwerk en in sommige gevallen speciale racks. De initiële investering is hoger, maar bij intensieve GPU-werklasten verdient dit zich terug door betere prestaties, een lagere storingskans en een hogere energie-efficiëntie.

Hoe werkt direct liquid cooling in een GPU-server?

Direct liquid cooling werkt door koelvloeistof via leidingen of slangen door een cold plate te leiden die direct op de GPU, CPU of andere warmteproducerende componenten is gemonteerd. De warmte wordt via de cold plate overgedragen aan de vloeistof, die vervolgens naar een warmtewisselaar buiten de server stroomt om te worden afgekoeld en daarna terug te keren.

In de praktijk zijn er twee varianten. Bij direct-to-chip-koeling worden alleen de grootste warmtebronnen, zoals GPU’s en CPU’s, voorzien van een cold plate, terwijl de rest van de server nog steeds met lucht wordt gekoeld. Dit is een hybride aanpak die goed werkt voor de meeste AI-serverplatforms. Bij volledig vloeistofgekoelde systemen worden ook geheugen, voedingen en andere componenten meegenomen.

Een belangrijk voordeel van direct liquid cooling is dat het relatief eenvoudig te integreren is in bestaande datacenters die al een koelwaterinfrastructuur hebben. Servers met DLC-ondersteuning gebruiken standaard aansluitingen, waardoor ze zonder grote verbouwingen kunnen worden ingezet.

Wanneer is immersion cooling de juiste keuze voor een datacenter?

Immersion cooling is de juiste keuze wanneer je te maken hebt met extreem hoge rackdichtheden, wanneer maximale energie-efficiëntie een harde eis is, of wanneer je een volledig nieuwe datacenteropstelling bouwt waarbij je de infrastructuur vanaf de basis kunt ontwerpen. Het is minder geschikt voor bestaande omgevingen vanwege de ingrijpende aanpassingen die nodig zijn.

Bij immersion cooling worden servers volledig ondergedompeld in een bad met dielektrische vloeistof, een vloeistof die geen elektriciteit geleidt. De vloeistof neemt de warmte direct op van alle componenten en wordt vervolgens gekoeld via een externe warmtewisselaar. Dit maakt immersion cooling de meest efficiënte koelingsmethode die beschikbaar is, met een PUE (Power Usage Effectiveness) die dicht bij de theoretische limiet van 1.0 kan komen.

De drempel is echter hoog. Je hebt speciale tanks nodig, compatibele hardware, getraind personeel en aangepaste werkprocedures voor onderhoud. Voor organisaties die grote aantallen GPU-servers draaien voor AI-training en waarbij energiekosten een dominante factor zijn in de totale eigendomskosten, kan immersion cooling een weloverwogen keuze zijn.

Welke Supermicro GPU-servers ondersteunen vloeistofkoeling?

Supermicro biedt een breed scala aan GPU-servers met native ondersteuning voor direct liquid cooling, waaronder systemen uit de A+ en SYS-productlijnen die zijn ontworpen voor AI- en HPC-werklasten. Veel van deze systemen ondersteunen meerdere high-end Nvidia-GPU’s en zijn beschikbaar met geïntegreerde cold plate-oplossingen.

Supermicro onderscheidt zich doordat het nieuwe GPU-generaties eerder ondersteunt dan andere fabrikanten. Waar merken als HP en Dell soms pas maanden later komen met compatibele systemen, brengt Supermicro GPU-servers op de markt zodra nieuwe Nvidia-generaties beschikbaar zijn. Dit is relevant voor organisaties die een on-premise AI-server willen bouwen met de nieuwste generatie GPU’s en niet willen wachten.

Specifieke modellen die vloeistofkoeling ondersteunen zijn onder andere de SYS-821GE- en SYS-421GE-reeksen, die zijn ontworpen voor hoge GPU-dichtheid en beschikbaar zijn met DLC-configuraties. Supermicro biedt ook complete rackoplossingen waarbij koeling, power distribution en servermanagement al zijn geïntegreerd, wat de implementatie aanzienlijk vereenvoudigt.

Waar moet je op letten bij het kiezen van een koelingsoplossing voor GPU-servers?

Bij het kiezen van een koelingsoplossing voor GPU-servers let je op vijf factoren: het thermisch vermogen van je GPU-configuratie, de bestaande koelingsinfrastructuur van je datacenter, de totale eigendomskosten inclusief energie, de schaalbaarheid voor de toekomst en de beschikbaarheid van ondersteuning en onderhoud.

Thermisch vermogen en rackdichtheid

Begin bij de hardware. Hoeveel GPU’s per server, en wat is het maximale thermische vermogen per unit? Vermenigvuldig dit met het aantal servers in je rack en je krijgt de warmtedichtheid die je koelingsoplossing moet aankunnen. Dit getal bepaalt direct welke koelingsmethoden überhaupt in aanmerking komen.

Bestaande infrastructuur en integratiegemak

Een koelingsoplossing die perfect werkt maar drie maanden verbouwing vereist, past misschien niet bij je tijdlijn. Beoordeel wat je datacenter al heeft: koelwaterleidingen, voldoende vloerbelasting voor immersion tanks, of juist alleen luchtkoeling. Soms is een rear-door heat exchanger de slimste keuze omdat die weinig aanpassingen vraagt en toch direct resultaat oplevert.

Schaalbaarheid en toekomstbestendigheid

Het GPU-vermogen neemt generatie op generatie toe. Een koelingsoplossing die vandaag voldoende is, kan over twee jaar tekortschieten. Kies bij voorkeur een aanpak die kan meegroeien, of plan alvast welk upgradepad je wilt volgen als de volgende GPU-generatie arriveert.

Bij NCS International helpen wij je om de juiste koelingsoplossing te koppelen aan de juiste Supermicro-hardware. Als grootste en oudste Supermicro-distributeur van Nederland beschikken wij over de technische kennis om jouw specifieke situatie te beoordelen, van rackdichtheid en datacenterinfrastructuur tot werklastvereisten en toekomstige schaalbaarheid. Wil je weten welke Supermicro GPU-serveroplossingen het beste passen bij jouw koelingsinfrastructuur? Neem contact met ons op en wij denken graag met je mee.

Veelgestelde vragen

Kan ik een bestaande luchtgekoelde GPU-server later ombouwen naar vloeistofkoeling?

Dat hangt sterk af van het servermodel. Sommige GPU-servers zijn ontworpen met upgrade-paden in gedachten en kunnen worden voorzien van een aftermarket cold plate-kit, maar dit is niet voor alle modellen beschikbaar. De veiligste aanpak is om bij de aanschaf van nieuwe hardware al rekening te houden met toekomstige koelingsbehoeften en te kiezen voor een platform dat native DLC-ondersteuning biedt, zoals bepaalde Supermicro-reeksen.

Wat is een realistische PUE-verbetering als ik overstap van luchtkoeling naar direct liquid cooling?

In de praktijk zien organisaties bij de overstap van luchtkoeling naar direct liquid cooling een PUE-verbetering van gemiddeld 15 tot 30 procent, afhankelijk van de uitgangssituatie. Luchtgekoelde datacenters hebben vaak een PUE tussen de 1,4 en 1,8, terwijl goed geïmplementeerde DLC-systemen richting de 1,1 tot 1,3 kunnen komen. Dit vertaalt zich bij intensieve GPU-werklasten direct naar lagere energiekosten op jaarbasis.

Welke risico's zijn er verbonden aan vloeistofkoeling en hoe beperk je die?

De voornaamste risico's bij vloeistofkoeling zijn lekkages, corrosie in het leidingwerk en compatibiliteitsproblemen tussen de koelvloeistof en servercomponenten. Je beperkt deze risico's door te werken met gecertificeerde quick-disconnect koppelingen, regelmatige inspecties in te plannen en uitsluitend koelvloeistoffen te gebruiken die zijn goedgekeurd door de serverfabrikant. Bij direct-to-chip-koeling blijft eventuele lekkage bovendien beperkt tot de directe omgeving van de cold plate, wat de impact ten opzichte van immersion cooling aanzienlijk kleiner maakt.

Hoeveel extra kosten brengt de overstap naar vloeistofkoeling met zich mee?

De initiële meerkosten voor vloeistofkoeling bestaan uit de aanschaf van cold plates of immersion tanks, het aanleggen of uitbreiden van koelwaterleidingen, en eventuele aanpassingen aan de datacenterinfrastructuur. Afhankelijk van de schaal kan dit oplopen van enkele tienduizenden euro's voor een kleinschalige DLC-implementatie tot honderdduizenden euro's voor een volledig immersion cooling-opstelling. Tegenover deze investering staan lagere energiekosten, minder hardwarestoringen en hogere rekenprestaties, waardoor de terugverdientijd bij intensieve AI-werklasten doorgaans tussen de één en drie jaar ligt.

Heeft vloeistofkoeling invloed op de garantie van mijn GPU's of servers?

Dit verschilt per fabrikant en per type vloeistofkoeling. Bij direct-to-chip-koeling met gecertificeerde componenten en goedgekeurde koelvloeistoffen blijft de garantie in de meeste gevallen intact, zeker wanneer je werkt met serverfabrikanten zoals Supermicro die DLC als officieel ondersteunde configuratie aanbieden. Bij aftermarket-modificaties of het gebruik van niet-gecertificeerde vloeistoffen kan de garantie vervallen, dus controleer dit altijd vooraf bij de leverancier.

Wat zijn de onderhoudsvereisten van de verschillende koelingsoplossingen?

Luchtkoeling vraagt het minste onderhoud: periodieke reiniging van filters en ventilatoren volstaat doorgaans. Direct liquid cooling vereist aanvullend regelmatige controle van vloeistofniveaus, leidingverbindingen en de kwaliteit van de koelvloeistof. Immersion cooling heeft de meest gespecialiseerde onderhoudsprocedures, omdat het verwijderen en terugplaatsen van servers uit de vloeistofbaden specifieke training en apparatuur vereist. Zorg er bij immersion cooling voor dat je team is opgeleid en dat je onderhoudscontracten afsluit met partijen die ervaring hebben met dit type systemen.

Is vloeistofkoeling ook zinvol als ik slechts één of twee GPU-servers draai?

Bij één of twee GPU-servers met een beperkte warmtedichtheid is de businesscase voor vloeistofkoeling minder sterk, tenzij je werkt met de allernieuwste en meest vermogende GPU-generaties zoals de Nvidia H100 of B200. Een rear-door heat exchanger kan in dat geval een pragmatische tussenoplossing zijn: die verhoogt de koelcapaciteit zonder grote infrastructurele ingrepen. Groeit je GPU-omgeving in de toekomst, dan is het verstandig om nu al hardware te kiezen die vloeistofkoeling ondersteunt, zodat je later zonder vervanging kunt opschalen.

Gerelateerde artikelen

NCS International

Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
info@ncs.nl

Meer berichten

Wat is een GPU-server?

GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.


read more

Wat is een AI-server?

Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.


read more