Engels tegen een chatbot is goedkoper dan Nederlands: hoe dat komt

Wat tokens zijn

Een taalmodel leest geen woorden en geen letters, maar tokens. Dat zijn stukjes tekst die het model als bouwsteen gebruikt. Een veelvoorkomend Engels woord als “the” of “email” is vaak één token. Een langer of zeldzamer woord wordt opgeknipt in meerdere stukjes. Hoe die verdeling gaat, bepaalt de tokenizer, het onderdeel dat tekst omzet in tokens voordat het model ermee aan de slag gaat.

Die tokenizer wordt gebouwd op een enorme hoeveelheid tekst, en daarin is Engels ver in de meerderheid. Engelse woorden en woorddelen krijgen daardoor vaker een eigen token. Talen die minder vaak voorkomen, worden in kleinere stukjes geknipt en hebben dus meer tokens nodig voor dezelfde boodschap. Bright noemt het voorbeeld van Malayalam, een taal uit het zuiden van India, waarvoor een zin van vergelijkbare lengte twee keer zoveel tokens kost als in het Engels.

Hoe groot het verschil is voor Nederlands

Nederlands zit niet in de zwaarste categorie. Het is een Europese taal met veel tekst op internet en het lijkt in opbouw op Engels. Maar duurder is het wel. Wij telden het zelf na met de openbare tokenizer van OpenAI die bij GPT-4o en latere modellen hoort, en legden drie gewone vragen in het Engels en het Nederlands naast elkaar.

• “Can you summarize this email in three short bullet points?” kost 11 tokens. De Nederlandse versie, “Kun je deze e-mail samenvatten in drie korte opsommingstekens?”, kost er 17.
• Een verzoek om een beleefd antwoord aan je verhuurder over de verwarming kost in het Engels 15 tokens en in het Nederlands 22.
• Een zin over de afvalinzameling van de gemeente kost 12 tokens in het Engels en 15 in het Nederlands.

Opgeteld kwamen de Nederlandse zinnen uit op 54 tokens tegen 38 voor de Engelse. Dat is ruim veertig procent meer. Lange samenstellingen als “opsommingstekens” en “afvalinzameling” zijn de grootste boosdoeners, omdat die in meerdere stukjes worden geknipt. Andere modellen gebruiken een andere tokenizer, dus de precieze verhouding verschilt per chatbot. Je kunt het zelf proberen in de tokenizer van OpenAI, waar je een zin plakt en ziet hoe hij wordt opgedeeld.

Wat het je in de praktijk kost

Hier komt het belangrijkste verschil. Gebruik je ChatGPT, Gemini of Claude met een gratis account of een vast abonnement, dan betaal je niet per token. Je betaalt dus niet meer omdat je in het Nederlands schrijft. Wel merk je het op twee andere plekken.

De eerste is het geheugen van een gesprek. Een chatbot kan maar een bepaald aantal tokens tegelijk overzien. Een lange Nederlandse tekst vult dat sneller dan dezelfde tekst in het Engels. Bij een kort gesprek merk je daar niets van. Bij een lang document of een gesprek dat uren doorloopt, kan het model eerder het begin vergeten. Dat speelt vooral als je een lange pdf laat samenvatten.

De tweede is de limiet. Veel abonnementen hebben een maximum aan gebruik per paar uur of per week, en dat wordt vaak berekend in tokens. Wie veel en lang in het Nederlands werkt, zit daar iets eerder aan.

Echt in geld merk je het pas als je betaalt per gebruik, bijvoorbeeld als je een AI-model via de API in je eigen software of website gebruikt. Dan betaal je per token, zowel voor wat je stuurt als voor wat je terugkrijgt. Een bedrijf dat duizenden Nederlandse klantvragen per dag door een model laat beantwoorden, ziet dat verschil op de rekening. Waarom die prijzen per token flink dalen terwijl je abonnement even duur blijft, lees je in ons stuk over goedkopere AI.

Moet je dan in het Engels vragen?

Voor de meeste mensen niet. Wie met een abonnement werkt, wint er niets mee, en wie zijn vraag zelf vertaalt, loopt het risico dat de nuance verloren gaat. Bovendien wil je meestal een antwoord in het Nederlands, en dan kost het antwoord sowieso Nederlandse tokens. Moderne modellen begrijpen Nederlands goed, en een duidelijke vraag in je eigen taal levert meestal een beter resultaat dan een stuntelige vraag in het Engels.

Er zijn wel twee situaties waarin Engels kan helpen. Werk je met een heel lang document en loop je tegen de grens van het gesprek aan, dan kan een Engelse samenvatting als tussenstap ruimte schelen. En bouw je zelf iets op een AI-model met veel verkeer, dan loont het om de vaste instructies voor het model in het Engels te schrijven en alleen het antwoord aan de klant in het Nederlands te laten geven. Voor een gewone vraag aan een chatbot is het verschil te klein om je taal voor aan te passen.