Contador de tokens
Conte os tokens de um prompt ou documento com os tokenizadores exatos OpenAI (o200k_base para GPT-4o e versões mais recentes, cl100k_base para GPT-4 e GPT-3.5) e veja os caracteres, as palavras e uma estimativa aproximada para outros modelos. Útil para respeitar os limites de contexto e estimar os custos de API.
Perguntas frequentes
O que é um token?
Os modelos de linguagem leem textos como tokens, partes de palavras produzidas por um tokenizador. Em inglês, um token tem, em média, cerca de quatro caracteres ou três quartos de uma palavra, mas códigos, números e outros idiomas usam mais.
Quais tokenizadores são exatos?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base e r50k_base (modelos GPT-3 mais antigos e modelos Codex), contados com js-tiktoken, a versão JavaScript em JavaScript do tiktoken da OpenAI.
E quanto a Claude, Gemini ou Llama?
Eles usam seus próprios tokenizadores. A ferramenta mostra uma estimativa heurística de um token a cada quatro caracteres, que costuma ser próxima para textos em inglês; para obter números exatos, use a API de contagem de tokens do provedor.
Tokens especiais são contabilizados?
Sim. Textos que parecem tokens especiais, como <|endoftext|>, são contabilizados como esse token, assim como API faria.
As mensagens de chat são contabilizadas com a sobrecarga?
Não. A contagem considera apenas o texto. As APIs de chat acrescentam alguns tokens por mensagem para funções e formatação.
Meu texto é armazenado?
Não. A tokenização é feita apenas para esta solicitação.