7 november 2026
Een AI-agent die multi-step taken uitvoert, heeft doorgaans minimaal 32 GB RAM nodig, maar in de praktijk ligt dat voor serieuze workloads al snel op 128 GB of meer. Hoe hoog het geheugenverbruik precies uitvalt, hangt af van de grootte van het model, de lengte van de context die de agent bijhoudt en het aantal stappen dat parallel wordt uitgevoerd. De vragen hieronder helpen je bepalen hoeveel geheugen jouw AI-infrastructuur echt nodig heeft.
Het geheugengebruik van een AI-agent tijdens multi-step taken wordt bepaald door drie hoofdfactoren: de omvang van het taalmodel dat de agent aanstuurt, de lengte van de context die per stap wordt bijgehouden, en het aantal tussenresultaten dat in het werkgeheugen geladen blijft. Hoe meer stappen een taak telt, hoe groter de accumulatie van tussenliggende data in RAM.
Bij een eenvoudige taak met twee of drie stappen is het geheugenverbruik beheersbaar. Maar zodra een agent meerdere tools aanroept, externe data ophaalt of beslissingen neemt op basis van eerdere stappen, groeit het geheugengebruik snel. Elke stap voegt context toe die de agent nodig heeft om coherent te blijven. Dat maakt multi-step taken fundamenteel geheugenintensiever dan enkelvoudige inferentie-aanvragen.
Daarnaast speelt de precisie van het model een rol. Modellen die draaien in full precision (FP32) verbruiken ruwweg twee keer zoveel geheugen als modellen in half precision (FP16 of BF16). Kwantisatie naar INT8 of INT4 kan het geheugenverbruik verder terugdringen, maar dat gaat soms ten koste van nauwkeurigheid, wat bij complexe redeneerketens merkbaar kan worden.
Voor een functionele AI-agent die multi-step taken uitvoert, is 32 GB RAM een absolute ondergrens voor lichtgewicht modellen. Voor middelgrote modellen (7B tot 13B parameters) in productieomgevingen is 64 tot 128 GB RAM realistischer. Grote modellen van 70B parameters of meer vereisen al snel 256 GB RAM of meer, zeker als de context lang is.
Die minimumwaarden gelden voor een enkele agent in isolatie. In de praktijk draaien AI-agents zelden alleen. Het besturingssysteem, orkestratieframeworks, databases en monitoring-tooling verbruiken ook geheugen. Reken daarvoor altijd een buffer van minimaal 20 tot 30 procent bovenop het modelgeheugen.
Een veelgemaakte fout is het onderschatten van het geheugen dat nodig is voor de KV-cache, de sleutel-waardecache die bijhoudt welke tokens al verwerkt zijn. Bij lange contexten kan deze cache alleen al tientallen gigabytes innemen. Voor AI-agents die werken met documenten, gesprekshistorie of meerdere toolresultaten is de KV-cache een van de grootste geheugenconsumenten.
Werkgeheugen bij een AI-agent verwijst naar het RAM dat gebruikt wordt voor de actieve berekeningen: het laden van modelgewichten, het uitvoeren van matrixoperaties en het tijdelijk opslaan van tussenresultaten. Contextgeheugen is de informatie die de agent actief bijhoudt over de lopende taak, zoals eerdere stappen, toolresultaten en instructies.
Het onderscheid is praktisch belangrijk. Werkgeheugen is relatief stabiel en afhankelijk van de modelgrootte. Contextgeheugen groeit dynamisch naarmate een taak vordert. Bij een agent die tien stappen doorloopt en bij elke stap toolresultaten opslaat, kan het contextgeheugen een veelvoud worden van wat de eerste stap vereiste.
In moderne agent-frameworks wordt contextgeheugen soms gedeeltelijk naar schijf of externe opslag verplaatst om RAM vrij te houden. Dat verlicht de druk op het werkgeheugen, maar introduceert latentie. Voor tijdkritische toepassingen, zoals real-time besluitvorming of interactieve agents, is het beter om voldoende RAM beschikbaar te hebben zodat de volledige context in geheugen blijft.
Bij meerdere parallelle AI-agents schaalt het geheugengebruik ruwweg lineair met het aantal agents, tenzij modelgewichten gedeeld worden. Als tien agents hetzelfde basismodel gebruiken en dat model in gedeeld geheugen geladen is, betaal je de geheugenkosten voor het model eenmalig, maar betaal je per agent voor de context en KV-cache.
Model-sharing is dan ook een van de meest effectieve technieken om geheugen te besparen bij parallelle agent-workloads. Frameworks zoals vLLM en TensorRT-LLM ondersteunen dit principe. Zonder model-sharing vertienvoudigt het geheugenverbruik bij tien agents simpelweg, wat de hardwarevereisten snel onhaalbaar maakt.
Voor organisaties die tientallen of honderden agents parallel willen draaien, is de geheugenarchitectuur van de server minstens zo belangrijk als de totale RAM-capaciteit. De geheugenbandbreedte, het aantal geheugenkanalen en de NUMA-topologie bepalen hoe snel data naar de processor stroomt. Een server met 512 GB RAM maar beperkte bandbreedte kan trager zijn dan een goed geconfigureerd systeem met minder RAM maar hogere doorvoersnelheid.
Voor AI-agent workloads is DDR5 ECC RDIMM-geheugen momenteel de meest geschikte keuze. DDR5 biedt hogere bandbreedte en lagere latentie dan DDR4, wat direct merkbaar is bij de grote matrixoperaties die AI-modellen uitvoeren. ECC (Error Correcting Code) is essentieel voor stabiele, foutvrije werking in productieomgevingen.
Naast het geheugentype telt de configuratie sterk mee. Meer geheugenkanalen betekent hogere parallelle bandbreedte. Moderne serverplatforms ondersteunen acht of meer geheugenkanalen per processor, wat de effectieve doorvoer aanzienlijk verhoogt ten opzichte van workstation-hardware met twee of vier kanalen.
Voor de zwaarste AI-agent workloads, waarbij grote modellen volledig in CPU-geheugen draaien zonder GPU-offloading, zijn platforms met ondersteuning voor hoge geheugencapaciteiten per socket het meest geschikt. Supermicro AI-servers zijn specifiek ontworpen voor dit soort veeleisende configuraties, met ondersteuning voor meerdere terabytes aan RAM per systeem en een brede keuze aan moederborden en processorcombinaties. Wij leveren deze systemen volledig geconfigureerd op maat van de workload.
Meer RAM lost het probleem niet op als de bottleneck elders zit. Trage AI-agents worden vaak veroorzaakt door trage opslag, onvoldoende CPU-kernen, netwerklatentie bij externe toolaanroepen of inefficiënte orkestratie in het agent-framework zelf. Meer geheugen toevoegen heeft dan geen meetbaar effect op de doorlooptijd.
Als een agent regelmatig data naar schijf schrijft of leest, bepaalt de opslagsnelheid de totale latentie. NVMe SSD’s met hoge IOPS zijn hier de juiste keuze. Snelle opslagoplossingen voor AI-workloads kunnen in dat geval meer impact hebben dan een geheugenuitbreiding.
Multi-step agents die veel sequentiële redeneerketens uitvoeren, zijn afhankelijk van single-threaded CPU-prestaties voor de orkestratiecode. Een agent-framework dat slecht omgaat met asynchrone aanroepen of onnodige wachttijden introduceert, maakt dat extra RAM niets toevoegt. Profilering van de agent-uitvoering is dan de eerste stap, niet een hardware-upgrade.
De juiste aanpak is altijd eerst meten waar de vertraging ontstaat. Geheugengebruik, CPU-belasting, schijf-I/O en netwerklatentie zijn elk afzonderlijk meetbaar. Pas als het geheugen structureel vol zit en de agent wisselgeheugen (swap) gebruikt, is een geheugenuitbreiding de directe oplossing. In alle andere gevallen is gerichte optimalisatie effectiever dan meer RAM toevoegen.
Begin met een benchmark op kleinere schaal: draai je agent op een testomgeving en meet het piekgeheugenverbruik per stap met tools zoals htop, vmstat of gespecialiseerde profilers zoals Py-Spy of memory_profiler. Vermenigvuldig het gemeten piekverbruik met het verwachte aantal parallelle agents en voeg daar 20 tot 30 procent buffer aan toe voor het besturingssysteem en ondersteunende services. Zo kom je tot een realistische minimumcapaciteit in plaats van te werken met algemene vuistregels.
Kwantisatie naar INT8 of INT4 kan het geheugenverbruik halveren of verder terugdringen, maar introduceert numerieke afwijkingen die zich bij lange redeneerketens kunnen opstapelen. Bij eenvoudige taken is het kwaliteitsverlies meestal verwaarloosbaar, maar bij agents die juridische documenten analyseren, wiskundige berekeningen uitvoeren of kritieke beslissingen nemen, kan zelfs een kleine nauwkeurigheidsafname tot foute conclusies leiden. Test kwantisatie altijd grondig op representatieve taken uit jouw specifieke use case voordat je het in productie uitrolt.
Ja, GPU VRAM is voor inferentie vaak sneller dan CPU RAM vanwege de hogere geheugenbandbreedte, maar de capaciteit is beperkter en duurder per gigabyte. Voor AI-agents die volledig op GPU draaien, geldt dezelfde logica als bij CPU RAM: modelgewichten, KV-cache en tussenresultaten moeten allemaal in VRAM passen. Bij modellen die te groot zijn voor een enkele GPU kun je model-parallelisme toepassen over meerdere GPU’s, of kiezen voor een hybride aanpak waarbij een deel in CPU RAM wordt gehouden via technieken als offloading in frameworks zoals llama.cpp of DeepSpeed.
Stel harde geheugenlimieten in per agent-instantie via containerisatie (Docker of Kubernetes resource limits) zodat één agent niet het geheugen van andere processen opslokt. Implementeer daarnaast een context-truncatiestrategie in je agent-framework: verwijder de oudste of minst relevante contextinformatie zodra de contextlengte een ingestelde drempel bereikt. Monitor het geheugenverbruik continu met alerting op 80 procent bezetting, zodat je proactief kunt bijschalen of taken kunt herverdelen voordat het systeem onder druk komt te staan.
Elk framework gaat anders om met contextbeheer en geheugenbeheer. LangChain biedt expliciete geheugenmodules waarmee je zelf bepaalt wat in RAM blijft en wat naar externe opslag gaat, wat flexibiliteit geeft maar ook configuratiewerk vereist. AutoGen beheert gesprekshistorie per agent-instantie en kan bij lange multi-agent conversaties snel veel RAM innemen als je geen truncatielimieten instelt. CrewAI is relatief lichtgewicht voor orkestratie zelf, maar het geheugenverbruik wordt primair bepaald door het onderliggende model en de tools die agents aanroepen. Lees de documentatie van je gekozen framework specifiek op het gebied van memory management voordat je de infrastructuur dimensioneert.
Een dedicated AI-server wordt financieel aantrekkelijker zodra je workloads continu of gedurende lange periodes draaien, want cloudkosten voor geheugenintensieve instanties lopen snel op bij 24/7 gebruik. Daarnaast geven dedicated servers meer controle over de geheugenarchitectuur, NUMA-configuratie en ECC-instellingen, wat relevant is voor productie-omgevingen met strikte betrouwbaarheidseisen. Een vuistregel: als je cloudkosten voor geheugen en rekenkracht structureel hoger uitvallen dan de afschrijving van eigen hardware over drie jaar, is een dedicated server de betere investering.
Ja, er zijn meerdere bruikbare opties. Voor systeemniveau-monitoring zijn Prometheus in combinatie met Node Exporter en Grafana de standaard in productieomgevingen. Voor Python-gebaseerde agent-frameworks bieden memory_profiler en Memray gedetailleerd inzicht in geheugenallocaties per functieaanroep. LLM-specifieke tools zoals vLLM’s ingebouwde statistieken en de HuggingFace Accelerate-bibliotheek geven inzicht in modelgeheugen en KV-cache gebruik. Begin met systeemniveau-monitoring om trends te zien, en gebruik code-level profiling alleen gericht wanneer je een specifiek knelpunt wilt lokaliseren.
Den Sliem 89
7141 JG Groenlo
The Netherlands
+31 544 470 000
sales@ncs.nl
GPU-servers verwerken duizenden berekeningen parallel — ontdek wanneer ze onmisbaar zijn voor jouw organisatie.
Wat is een AI-server en wanneer heb je er een nodig? Ontdek de techniek, hardware en toepassingen.