Ga naar de inhoud

Token teller

Tel de tokens van een prompt of document met de exacte OpenAI tokenizers (o200k_base voor GPT-4o en nieuwer, cl100k_base voor GPT-4 en GPT-3.5) en bekijk het aantal tekens en woorden, plus een ruwe schatting voor andere modellen. Handig om binnen contextvensters te blijven en API kosten te schatten.

Resetten

Veelgestelde vragen

Wat is een token?

Taalmodellen lezen tekst als tokens: stukjes woorden die door een tokenizer worden gevormd. In het Engels is een token gemiddeld ongeveer vier tekens of driekwart van een woord, maar code, getallen en andere talen gebruiken meer.

Welke tokenizers zijn exact?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base en r50k_base (oudere GPT-3- en Codex-modellen), geteld met js-tiktoken, de JavaScript-port van tiktoken van OpenAI.

Hoe zit het met Claude, Gemini of Llama?

Die gebruiken hun eigen tokenizers. De tool toont een heuristische schatting van één token per vier tekens, wat dicht in de buurt komt voor Engelse proza; gebruik de token-telAPI van de aanbieder voor exacte aantallen.

Tellen speciale tokens mee?

Ja. Tekst die eruitziet als een speciaal token, zoals <|endoftext|>, wordt als dat token geteld, net zoals de API dat zou doen.

Worden chatberichten geteld met overhead?

Nee. De telling omvat alleen de tekst. Chat-API's voegen per bericht enkele tokens toe voor rollen en opmaak.

Wordt mijn tekst opgeslagen?

Nee. Het wordt alleen voor dit verzoek getokeniseerd.

Over OneClick Pro

OneClick Pro is een gratis verzameling van meer dan 150 webtools voor dagelijks werk: afbeeldingen en eenheden converteren, code opmaken en valideren, domeinen en SEO controleren, en werken met tekst, datums en getallen. Elke tool werkt zonder registratie of abonnement. Wat u invoert, wordt alleen gebruikt om uw resultaat te berekenen en wordt nooit opgeslagen. Gebruik de verzameling als snelle gereedschapskist voor eenmalige taken of maak een bladwijzer van de tools die u dagelijks gebruikt.