Hoppa till innehåll

Tokenräknare

Räkna token i en prompt eller ett dokument med de exakta OpenAI tokeniserarna (o200k_base för GPT-4o och senare, cl100k_base för GPT-4 och GPT-3.5), och se antal tecken och ord samt en ungefärlig uppskattning för andra modeller. Användbart för att hålla sig inom kontextfönster och uppskatta API kostnader.

Återställ

Vanliga frågor

Vad är en token?

Språkmodeller läser text som token, alltså delar av ord som skapas av en tokeniserare. På engelska motsvarar en token i genomsnitt ungefär fyra tecken eller tre fjärdedelar av ett ord, men kod, siffror och andra språk använder fler.

Vilka tokeniserare är exakta?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base och r50k_base (äldre GPT-3- och Codex-modeller), räknade med js-tiktoken, JavaScript-porteringen av OpenAIs tiktoken.

Hur är det med Claude, Gemini eller Llama?

De använder egna tokeniserare. Verktyget visar en heuristisk uppskattning på en token per fyra tecken, vilket stämmer ganska bra för engelsk prosa. Använd leverantörens tokenräknings-API för exakta siffror.

Räknas specialtoken?

Ja. Text som ser ut som en specialtoken, till exempel <|endoftext|>, räknas som den token som API skulle behandla den som.

Räknas chattmeddelanden med extra token?

Nej. Räkningen omfattar bara texten. Chatt-API:er lägger till några token per meddelande för roller och formatering.

Sparas min text?

Nej. Texten tokeniseras bara för den här förfrågan.

Om OneClick Pro

OneClick Pro är en kostnadsfri samling med mer än 150 webbverktyg för det dagliga arbetet: konvertera bilder och enheter, formatera och validera kod, kontrollera domäner och SEO samt arbeta med text, datum och tal. Alla verktyg fungerar utan registrering eller prenumeration, och det du anger används bara för att beräkna resultatet och sparas aldrig. Använd samlingen som en snabb verktygslåda för enstaka uppgifter eller bokmärk verktygen du använder varje dag.