Tokenräknare
Räkna token i en prompt eller ett dokument med de exakta OpenAI tokeniserarna (o200k_base för GPT-4o och senare, cl100k_base för GPT-4 och GPT-3.5), och se antal tecken och ord samt en ungefärlig uppskattning för andra modeller. Användbart för att hålla sig inom kontextfönster och uppskatta API kostnader.
Vanliga frågor
Vad är en token?
Språkmodeller läser text som token, alltså delar av ord som skapas av en tokeniserare. På engelska motsvarar en token i genomsnitt ungefär fyra tecken eller tre fjärdedelar av ett ord, men kod, siffror och andra språk använder fler.
Vilka tokeniserare är exakta?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base och r50k_base (äldre GPT-3- och Codex-modeller), räknade med js-tiktoken, JavaScript-porteringen av OpenAIs tiktoken.
Hur är det med Claude, Gemini eller Llama?
De använder egna tokeniserare. Verktyget visar en heuristisk uppskattning på en token per fyra tecken, vilket stämmer ganska bra för engelsk prosa. Använd leverantörens tokenräknings-API för exakta siffror.
Räknas specialtoken?
Ja. Text som ser ut som en specialtoken, till exempel <|endoftext|>, räknas som den token som API skulle behandla den som.
Räknas chattmeddelanden med extra token?
Nej. Räkningen omfattar bara texten. Chatt-API:er lägger till några token per meddelande för roller och formatering.
Sparas min text?
Nej. Texten tokeniseras bara för den här förfrågan.