Contatore di token
Contate i token di un prompt o di un documento con i tokenizer esatti OpenAI (o200k_base per GPT-4o e versioni successive, cl100k_base per GPT-4 e GPT-3.5) e visualizzate caratteri, parole e una stima approssimativa per altri modelli. Utile per rientrare nelle finestre di contesto e stimare i costi API.
Domande frequenti
Che cos'è un token?
I modelli linguistici leggono il testo sotto forma di token, porzioni di parole generate da un tokenizer. In inglese, in media un token equivale a circa quattro caratteri o a tre quarti di parola, ma il codice, i numeri e le altre lingue ne usano di più.
Quali tokenizer sono esatti?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base e r50k_base (modelli GPT-3 meno recenti e modelli Codex), conteggiati con js-tiktoken, il port JavaScript di tiktoken di OpenAI.
E Claude, Gemini o Llama?
Usano tokenizer propri. Lo strumento mostra una stima euristica di un token ogni quattro caratteri, abbastanza vicina per la prosa inglese; per un conteggio esatto, usate API del provider.
I token speciali vengono conteggiati?
Sì. Il testo che sembra un token speciale, come <|endoftext|>, viene conteggiato come quel token, proprio come farebbe API.
I messaggi di chat vengono conteggiati con il sovraccarico?
No. Il conteggio riguarda solo il testo. Le API di chat aggiungono alcuni token per messaggio per i ruoli e la formattazione.
Il mio testo viene memorizzato?
No. Viene tokenizzato solo per questa richiesta.