Gå til indhold

Tokentæller

Tæl tokens i en prompt eller et dokument med de nøjagtige OpenAI-tokenizere (o200k_base til GPT-4o og nyere, cl100k_base til GPT-4 og GPT-3.5), og se antal tegn, ord samt et groft estimat for andre modeller. Nyttigt til at holde sig inden for kontekstvinduer og estimere API-omkostninger.

Nulstil

Ofte stillede spørgsmål

Hvad er et token?

Sprogmodeller læser tekst som tokens, altså dele af ord, der dannes af en tokenizer. På engelsk svarer et token i gennemsnit til cirka fire tegn eller tre fjerdedele af et ord, men kode, tal og andre sprog fylder mere.

Hvilke tokenizere er nøjagtige?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base og r50k_base (ældre GPT-3- og Codex-modeller), talt med js-tiktoken, JavaScript-porteringen af OpenAIs tiktoken.

Hvad med Claude, Gemini eller Llama?

De bruger deres egne tokenizere. Værktøjet viser et heuristisk estimat på ét token pr. fire tegn, hvilket passer godt til engelsk prosa. Brug udbyderens tokenoptællings-API for præcise tal.

Tæller specialtokens med?

Ja. Tekst, der ligner et specialtoken, såsom <|endoftext|>, tælles som dette token, ligesom API ville gøre.

Tælles chatbeskeder med ekstra tokens?

Nej. Optællingen omfatter kun teksten. Chat-API'er tilføjer nogle få tokens pr. besked til roller og formatering.

Gemmes min tekst?

Nej. Den tokeniseres kun til denne anmodning.

Om OneClick Pro

OneClick Pro er en gratis samling med mere end 150 webværktøjer til daglige opgaver: konvertering af billeder og enheder, formatering og validering af kode, opslag af domæner og SEO samt arbejde med tekst, datoer og tal. Alle værktøjer fungerer uden registrering eller abonnement, og det, du indtaster, bruges kun til at beregne resultatet og gemmes aldrig. Brug samlingen som en hurtig værktøjskasse til enkeltstående opgaver, eller bogmærk de værktøjer, du bruger hver dag.