Treci la conținut

Contor de tokenuri

Numărați tokenurile unui prompt sau document folosind tokenizer-ele exacte OpenAI (o200k_base pentru GPT-4o și versiunile mai noi, cl100k_base pentru GPT-4 și GPT-3.5) și consultați numărul de caractere, cuvinte și o estimare aproximativă pentru alte modele. Util pentru a vă încadra în ferestrele de context și a estima costurile API.

Resetează

Întrebări frecvente

Ce este un token?

Modelele lingvistice citesc textul sub formă de tokenuri, fragmente de cuvinte generate de un tokenizer. În engleză, un token are în medie aproximativ patru caractere sau trei sferturi de cuvânt, însă codul, numerele și alte limbi folosesc mai multe.

Ce tokenizer-e sunt exacte?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base și r50k_base (modele mai vechi GPT-3 și Codex), numărate cu js-tiktoken, portarea JavaScript a tiktoken-ului OpenAI.

Dar Claude, Gemini sau Llama?

Acestea folosesc propriile tokenizer-e. Instrumentul afișează o estimare euristică de un token la patru caractere, apropiată pentru proza în engleză; pentru numere exacte, folosiți instrumentul de numărare a tokenurilor API al furnizorului.

Se numără și tokenurile speciale?

Da. Textul care seamănă cu un token special, precum <|endoftext|>, este numărat ca acel token, la fel cum l-ar trata API.

Mesajele de chat se numără cu un adaos suplimentar?

Nu. Numărătoarea include doar textul. API-urile de chat adaugă câteva tokenuri pentru roluri și formatare la fiecare mesaj.

Textul meu este stocat?

Nu. Textul este tokenizat doar pentru această solicitare.

Despre OneClick Pro

OneClick Pro este o colecție gratuită de peste 150 de instrumente web pentru activitățile de zi cu zi: conversia imaginilor și unităților, formatarea și validarea codului, verificarea domeniilor și a SEO, precum și lucrul cu text, date și numere. Fiecare instrument funcționează fără înregistrare sau abonament, iar ceea ce introduceți este folosit doar pentru a calcula rezultatul și nu este stocat niciodată. Folosiți colecția ca trusă de instrumente rapidă pentru sarcini ocazionale sau salvați în marcaje instrumentele pe care le utilizați în fiecare zi.