Token teller
Tel de tokens van een prompt of document met de exacte OpenAI tokenizers (o200k_base voor GPT-4o en nieuwer, cl100k_base voor GPT-4 en GPT-3.5) en bekijk het aantal tekens en woorden, plus een ruwe schatting voor andere modellen. Handig om binnen contextvensters te blijven en API kosten te schatten.
Veelgestelde vragen
Wat is een token?
Taalmodellen lezen tekst als tokens: stukjes woorden die door een tokenizer worden gevormd. In het Engels is een token gemiddeld ongeveer vier tekens of driekwart van een woord, maar code, getallen en andere talen gebruiken meer.
Welke tokenizers zijn exact?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base en r50k_base (oudere GPT-3- en Codex-modellen), geteld met js-tiktoken, de JavaScript-port van tiktoken van OpenAI.
Hoe zit het met Claude, Gemini of Llama?
Die gebruiken hun eigen tokenizers. De tool toont een heuristische schatting van één token per vier tekens, wat dicht in de buurt komt voor Engelse proza; gebruik de token-telAPI van de aanbieder voor exacte aantallen.
Tellen speciale tokens mee?
Ja. Tekst die eruitziet als een speciaal token, zoals <|endoftext|>, wordt als dat token geteld, net zoals de API dat zou doen.
Worden chatberichten geteld met overhead?
Nee. De telling omvat alleen de tekst. Chat-API's voegen per bericht enkele tokens toe voor rollen en opmaak.
Wordt mijn tekst opgeslagen?
Nee. Het wordt alleen voor dit verzoek getokeniseerd.