# Počítadlo tokenov

Spočítajte tokeny v zadanom texte alebo dokumente pomocou presných OpenAI tokenizérov (o200k_base pre GPT-4o a novšie modely, cl100k_base pre GPT-4 a GPT-3.5) a pozrite si počet znakov, slov a približný odhad pre ostatné modely. Pomôže vám dodržať limity kontextového okna a odhadnúť náklady na API.

## Často kladené otázky

### Čo je token?

Jazykové modely čítajú text ako tokeny, teda časti slov vytvorené tokenizérom. V angličtine má token v priemere asi štyri znaky alebo tri štvrtiny slova, no kód, čísla a iné jazyky ich môžu obsahovať viac.

### Ktoré tokenizéry sú presné?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base a r50k_base (staršie modely GPT-3 a Codex); počítajú sa pomocou js-tiktoken, portu JavaScript knižnice tiktoken od OpenAI.

### A čo Claude, Gemini alebo Llama?

Používajú vlastné tokenizéry. Nástroj zobrazuje heuristický odhad jedného tokenu na každé štyri znaky, čo sa približne zhoduje s anglickým textom; presný počet zistíte pomocou API na počítanie tokenov od poskytovateľa.

### Počítajú sa aj špeciálne tokeny?

Áno. Text, ktorý vyzerá ako špeciálny token, napríklad <|endoftext|>, sa počíta ako tento token, rovnako ako by ho spracoval API.

### Počítajú sa správy v chate aj s režijnými tokenmi?

Nie. Počet zahŕňa iba text. Chatové API pridávajú niekoľko tokenov za každú správu na označenie rolí a formátovanie.

### Ukladá sa môj text?

Nie. Tokenizuje sa iba pre túto požiadavku.

Vaša reklama tu?

[Napíšte nám e-mail](mailto:hi@dennn.is?subject=Reklama%20na%20OneClick%20Pro)

[Reklama 433 nástrojov pre vašich AI agentov cez jeden server MCP.](https://multitaskai.com/sk/?ref=oneclickpro)
