Tokens

Wat zijn tokens?

Tokens zijn de kleine stukjes waarin AI-systemen tekst opknippen om die te kunnen verwerken. Een token kan een woord zijn, een deel van een woord of een leesteken. Moderne taalmodellen werken meestal met subwoord-tokens: een veelvoorkomend woord als “huis” is één token, maar een lang of zeldzaam woord als “huurprijsindexatie” wordt opgeknipt in meerdere stukjes. Het opknippen zelf heet tokenisatie. Als vuistregel komt in het Nederlands één token overeen met ongeveer driekwart van een woord.

Hoe werkt het?

Een tokenizer zet tekst om in een reeks tokens, en elk token krijgt een nummer dat het model kan verwerken. Het model rekent vervolgens uitsluitend met die tokenreeksen: het voorspelt steeds het meest waarschijnlijke volgende token. Hoeveel tekst een model in één keer kan overzien (het contextvenster) wordt ook in tokens gemeten, net als de prijs die je betaalt voor het gebruik van AI via een API.

Wat heb je eraan als bedrijf?

Tokens zijn de meeteenheid waarin je voor AI betaalt. Gebruik je ChatGPT, Claude of Copilot via een abonnement, dan merk je er weinig van, maar bouw je zelf een AI-toepassing via een API, dan reken je af per miljoen tokens. Ook verklaart het begrip waarom een model soms moeite heeft met heel lange documenten: die passen niet in het contextvenster. Wie AI inkoopt of laat bouwen, doet er goed aan dit begrip te kennen voor de kostenberekening.

Gerelateerde begrippen

Tokens vormen de input voor large language models. Na tokenisatie worden tokens omgezet in embeddings, getallenreeksen die betekenis vastleggen. Tokenisatie is ook de eerste stap in klassieke text analytics.

Alle tarieven staan bij elkaar op de prijzenpagina.