GenAI

Gezien deze cijfers moeten we rekening houden met de kosten en gevolgen van het draaien van onze GenAI-modellen. In dit artikel bespreken we een aantal zaken en methoden die je in gedachten kunt houden om de milieu-impact van je GenAI-gebruik te verminderen.

Kies voor kleinere modellen

Het is meestal niet nodig om de nieuwste en beste LLM te gebruiken. In veel gevallen is een kleiner model, ook wel Small Language Model (SLM) genoemd, prima geschikt. SLM’s zijn niet alleen kosten effectiever, ze zijn ook minder belastend voor het milieu omdat ze minder rekenkracht vereisen. LLM’s en conversational-AI’s zoals GPT-4 en Mistral zijn extreem krachtig. Ook al is het BERT-model aanzienlijk kleiner, het is hier ook prima toe in staat. Als je meer wilt weten over hoe je SLM’s zoals BERT kunt gebruiken, lees dan het artikel van UbiOps over 6 toepassingen van LLM’s.

Verfijn of gebruik reeds getrainde modellen

Een aanzienlijke milieukost als het gaat om AI-modellen zijn hun trainingsprocessen. Volgens een artikel in MIT Technology Review veroorzaakte het trainingsproces van BLOOM ongeveer 25 ton CO2, wat opliep tot 50 ton als de productie van de apparatuur werd meegerekend. Om een idee te geven: 1 ton CO2 komt overeen met de hoeveelheid die vrijkomt bij een autorit van 3800 kilometer, ongeveer de afstand die nodig is om van Amsterdam in Nederland naar Tbilisi in Georgië te rijden. Daarom is het veel milieuvriendelijker om een reeds getraind model te gebruiken.

Als je echt een model nodig hebt dat is aangepast aan jouw toepassing, kun je een reeds getraind model verfijnen door het opnieuw te trainen op specifieke gegevens. Verfijning kan naar verluidt 10 tot 100 keer energiezuiniger zijn dan het opnieuw trainen van een model.

Gebruik een duurzame cloud- en computingprovider

Als het om GenAI gaat, zijn grote rekenbehoeften echter onvermijdelijk. Om ervoor te zorgen dat de uitstoot beperkt wordt, maak dan gebruik van een computingprovider die rekening houdt met milieufactoren.

Innovatieve koeling

Koeling is een essentieel onderdeel van het verhogen van de efficiëntie van een datacenter bij het uitvoeren van rekentaken. Computer- en opslag hardware moeten worden beschermd tegen oververhitting om ze normaal te laten functioneren en hun levensduur te verlengen. Bytesnet maakt voor veel systemen gebruik van closed-loop vloeistofkoelingstechnieken, waardoor het water- en energieverbruik lager is dan bij traditionele koelingstechnieken. Bovendien wordt sommige IT-apparatuur van Bytesnet ondergedompeld in een speciale olie die de koeling efficiënter maakt, waardoor er minder energie nodig is.

Warmte hergebruiken

Zoals hierboven vermeld, genereren datacenters voortdurend warmte. In plaats van die warmte af te geven aan de atmosfeer, zou je het kunnen hergebruiken voor andere doeleinden. Bytesnet gebruikt de warmte van zijn d’Root datacenter om de stad Groningen te verwarmen via WarmteStad. Dit vermindert de totale energiebehoefte van de stad door beschikbare warmte te hergebruiken.

Groene energie

Om het hoge energieverbruik te compenseren, zijn veel datacenters zoals Bytesnet overgestapt op duurzame energiebronnen. Dit kan door energie in te kopen met een Garantie van Oorsprong (GvO). Een GoO-certificaat is het bewijs dat de energie afkomstig is van een duurzame bron.

Efficiënt stroomgebruik

Er zijn verschillende efficiëntiemetingen die kunnen worden gebruikt om de effectiviteit van een datacenter te beoordelen. Een van de meest eenvoudige maar effectieve metingen is de efficiëntie van het stroomverbruik (PUE), wat de verhouding is tussen de totale hoeveelheid stroom die een datacenter binnenkomt en de hoeveelheid energie die wordt gebruikt door de IT-apparatuur. Het is een eenvoudige manier om te meten hoe efficiënt een datacenter is. De meest optimale verhouding is 1,0.

Bytesnet heeft ratio’s zo laag als 1,20. Dit is een goede score vergeleken met andere datacenters in Nederland, die gemiddeld rond de 1,21 PUE zitten, en wereldwijd, die gemiddeld 1,58 halen.

Conclusie

Het gebruiken van GenAI kost aanzienlijke energie. In een wereld waarin het merendeel van de energiebronnen nog steeds gebaseerd zijn op fossiele brandstoffen, is het raadzaam om het verbruik zo veel mogelijk te beperken. We hebben een aantal manieren opgesomd om dit te doen, door LLM’s te vermijden en waar mogelijk voor SLM’s te kiezen. Verder is het aan te raden om datacenters te gebruiken die duurzame initiatieven initiëren.