Wie zich ooit heeft verdiept in kunstmatige intelligentie (AI), is ze ongetwijfeld al eens tegengekomen: tokens. Geen magische munten, geen bonuspunten, maar de onmisbare bouwstenen van taalmodellen zoals ChatGPT, GPT-4 of Claude.

Wat zijn tokens?

Simpel gezegd zijn tokens kleine stukjes tekst. Een token kan een volledig woord zijn, maar evengoed een stukje van een woord, een leesteken of zelfs een spatie. AI-modellen breken tekst op in tokens om die begrijpelijk en verwerkbaar te maken. Je kan het vergelijken met het opdelen van een zin in puzzelstukjes — of, als je liever met speelgoed speelt, als Lego-blokjes waar je nieuwe structuren mee bouwt.

Zo bestaat het woord "kunstmatige" misschien uit één token, maar "AI-acteur" zou kunnen worden opgesplitst in "AI", "-", "act", "eur". Sommige talen zijn efficiënter in tokens dan andere; Nederlands en Engels doen het relatief goed, maar probeer maar eens Chinees of emoji’s: daar wordt het pas echt feest.

Waarom zijn tokens belangrijk?

AI-modellen denken en rekenen niet in zinnen, maar in tokens. Elke prompt die je ingeeft wordt in tokens omgezet. Modellen zoals GPT-4 hebben een ‘contextvenster’ — een geheugenlimiet uitgedrukt in tokens, niet in woorden of zinnen. Dat betekent: hoe meer tekst, hoe sneller dat venster volloopt. Voor een model van 8.000 tokens kan dat ongeveer 5.000 tot 6.000 woorden zijn, afhankelijk van de taal en het onderwerp.

En let op: ook het antwoord dat je terugkrijgt telt mee in dat totaal. Daarom worden lange chats soms ‘vergeten’ of krijg je plots niet meer het hele verhaal. Het AI-model heeft simpelweg geen plek meer voor alle puzzelstukjes.

Wat betekent dit voor jou?

Wie werkt met AI — of het nu is voor copywriting, coderen of data-analyse — doet er goed aan om tokens te begrijpen. Tekst comprimeren, bondig formuleren, irrelevante stukken schrappen: het is niet alleen goed voor de lezer, maar helpt ook de AI om jouw boodschap correct te begrijpen én te onthouden.

En voor de duidelijkheid: je betaalt AI-modellen vaak per verwerkte token. Veel tekst? Meer tokens? Meer centen.

Tot slot: De kleine lettertjes

AI-systemen zoals ChatGPT rekenen niet altijd logisch met woorden, zinnen of zelfs letters. Een emoticon kan één token zijn, een exotisch woord drie. Verwacht dus geen exacte wetenschap, maar eerder een digitale rekensom vol verrassingen.