Zelf een AI-model op je laptop draaien: wat je nodig hebt en waar het tegenvalt

Waarom lokaal ineens populair is

Op 11 oktober beschreef laptopreviewer Antonio Di Benedetto van The Verge zijn eerste weken met lokale AI. Zijn reden is herkenbaar. Hij wilde zijn meest persoonlijke gegevens niet aan een clouddienst geven, en dat hield hem tot nu toe tegen om AI echt te gebruiken. Op een Mac Studio met 256 GB geheugen installeerde hij de gratis agent Hermes en een groot model van Qwen van ongeveer 105 GB. Daarmee liet hij onder meer zijn Steam-bibliotheek van ruim vierhonderd games op genre sorteren en financiële gegevens doorrekenen die hij nooit naar de cloud zou sturen.

Ook zijn ervaring met tegenvallers is leerzaam. Zijn dagelijkse ochtendoverzicht mislukte steeds, tot hij doorhad dat de Mac in slaap was op het moment dat de taak moest starten. En hij schrijft eerlijk dat zelfs krachtige lokale modellen geen magische assistent zijn die alles kan. Dat beeld klopt ook met wat wij zien.

Belangrijk om te weten is dat zijn computer ver boven wat de meeste mensen hebben uitsteekt. Je kunt prima beginnen met veel minder, zolang je je verwachtingen aanpast.

Wat je laptop moet kunnen

Het belangrijkste onderdeel is geheugen, niet de processor. Een AI-model moet in zijn geheel in het werkgeheugen passen om snel te werken. Hoe groter het model, hoe slimmer meestal, en hoe meer geheugen het vraagt. De grootte van een model wordt uitgedrukt in parameters, vaak een paar miljard. In de praktijk gebruik je een gecomprimeerde versie, en dan geldt als ruwe vuistregel dat een model ongeveer een halve gigabyte per miljard parameters inneemt, plus wat ruimte voor het gesprek zelf.

Dat vertaalt zich grofweg zo.

• 8 GB werkgeheugen. Alleen hele kleine modellen. Leuk om te proberen, maar de antwoorden zijn vaak onnauwkeurig, zeker in het Nederlands.
• 16 GB. Modellen van rond de acht miljard parameters draaien goed. Bruikbaar voor samenvatten, herschrijven en eenvoudige vragen. Dit is het instapniveau dat wij aanraden.
• 32 GB. Middelgrote modellen worden haalbaar. Merkbaar beter in redeneren en in het volgen van langere instructies.
• 64 GB of meer. De grotere open modellen, die bij veel taken in de buurt komen van de gratis versies van bekende chatbots.

Er is wel een verschil tussen Mac en Windows. Een Mac met een M-chip deelt het geheugen tussen processor en grafische chip, waardoor het hele werkgeheugen beschikbaar is voor het model. Daarom zijn Macs populair voor lokale AI. Op een Windows-laptop telt vooral het geheugen van de videokaart. Een laptop met een losse NVIDIA-kaart met 8 GB videogeheugen draait kleine modellen snel, maar grotere modellen vallen terug op het gewone geheugen en worden dan traag. Er komen ook Windows-laptops met veel gedeeld geheugen die op Macs lijken, maar die zijn nog duur en zeldzaam.

Ga je speciaal een laptop kopen voor lokale AI, dan is meer geheugen de beste investering. Je kunt het achteraf bijna nooit uitbreiden. Dezelfde afweging speelt bij telefoons, zoals we uitlegden in ons stuk over hoeveel werkgeheugen je nodig hebt voor AI op je telefoon.

De gratis apps om mee te beginnen

Je hoeft geen programmeur te zijn. Er zijn drie gratis programma’s die het installeren van een model net zo makkelijk maken als het installeren van een app.

• LM Studio. Voor Mac, Windows en Linux. Je zoekt een model op in de ingebouwde bibliotheek, klikt op downloaden en begint te chatten in een venster dat op ChatGPT lijkt. Het programma laat ook zien of een model in je geheugen past. Voor beginners onze eerste keuze.
• Jan. Open source en vergelijkbaar met LM Studio, met een overzichtelijke chatomgeving en de mogelijkheid om lokale en online modellen naast elkaar te gebruiken.
• Ollama. Iets technischer, je start modellen met een korte opdracht in de terminal. Veel andere programma’s, waaronder agents zoals Hermes, kunnen via Ollama met je lokale model praten.

Welk model je kiest, verandert elke paar maanden. Zoek in de bibliotheek van de app naar recente modellen van Qwen, Llama, Mistral of Gemma in een grootte die bij je geheugen past. Voor Nederlands werken de modellen van Qwen en Mistral volgens ons het best. Meer over de open modellen zelf en wie ze maakt, lees je in ons artikel over open modellen en wat je eraan hebt.

Zo begin je in een kwartier

1. Kijk in de systeeminformatie hoeveel werkgeheugen je laptop heeft.
2. Installeer LM Studio vanaf de eigen site van het programma.
3. Zoek in de app naar een model van rond de acht miljard parameters, of kleiner als je 8 GB hebt.
4. Download het model. Reken op een paar gigabyte, dus doe dit op wifi.
5. Laad het model en stel je eerste vraag. Zet daarna je wifi uit en probeer het nog eens. Werkt het nog steeds, dan weet je zeker dat alles lokaal gebeurt.

Waar het tegenvalt

Nu het eerlijke deel. Een lokaal model op een gewone laptop is in de meeste opzichten minder goed dan ChatGPT, Gemini of Claude. Dat zijn de verschillen die je het eerst merkt.

• Kennis en redeneren. Kleine modellen weten minder en verzinnen sneller iets. Feitelijke vragen kun je beter niet aan een klein lokaal model stellen zonder het antwoord te controleren.
• Geen internet. Standaard zoekt een lokaal model niets op. Het weet alleen wat er bij de training in zat, en dat kan maanden oud zijn.
• Snelheid. Op een laptop zonder krachtige chip komen de woorden langzaam binnen. Een lange tekst kan een minuut duren.
• Accu en warmte. AI draaien is zwaar werk. De ventilator gaat aan en je accu loopt merkbaar sneller leeg.
• Extra’s. Spraak, beeld maken, bestanden analyseren en geheugen over gesprekken heen zijn lokaal mogelijk, maar vragen extra programma’s en geknutsel.

Ook Di Benedetto merkte dat de techniek niet het grootste obstakel was, maar de vraag wat je er eigenlijk mee wilt. Een leeg tekstvak nodigt niet vanzelf uit tot nuttige klussen.

Voor wie het de moeite waard is

Lokale AI is volgens ons vooral interessant voor drie groepen. Mensen die met gevoelige gegevens werken, zoals financiële overzichten, medische informatie of vertrouwelijke stukken van klanten, en die die gegevens nooit naar buiten willen sturen. Mensen die vaak zonder goede verbinding werken, in de trein of op reis. En nieuwsgierigen die willen begrijpen hoe deze techniek werkt.

Voor de meeste dagelijkse vragen blijft een online chatbot handiger en slimmer. Een goede middenweg is beide gebruiken. De online chatbot voor algemene vragen, het lokale model voor alles wat privé moet blijven. Wil je eerst weten welke andere manieren er zijn om privé met AI te chatten, lees dan ons overzicht van privé chatten zonder je gegevens weg te geven.