# Števec žetonov

Preštejte žetone v pozivu ali dokumentu z natančnimi OpenAI tokenizatorji (o200k_base za GPT-4o in novejše modele, cl100k_base za GPT-4 in GPT-3.5) ter si oglejte število znakov in besed ter grobo oceno za druge modele. Uporabno za upoštevanje omejitev kontekstnega okna in ocenjevanje API stroškov.

## Pogosta vprašanja

### Kaj je žeton?

Jezikovni modeli berejo besedilo kot žetone, torej dele besed, ki jih ustvari tokenizator. V angleščini žeton v povprečju obsega približno štiri znake ali tri četrtine besede, pri kodi, številkah in drugih jezikih pa je teh znakov več.

### Kateri tokenizatorji so natančni?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base in r50k_base (starejši modeli GPT-3 in Codex), prešteti z js-tiktoken, JavaScript prenosom tiktoken iz OpenAI.

### Kaj pa Claude, Gemini ali Llama?

Uporabljajo lastne tokenizatorje. Orodje prikaže hevristično oceno enega žetona na štiri znake, kar je blizu za angleško prozo; za natančno število uporabite ponudnikovo API za štetje žetonov.

### Ali se štejejo tudi posebni žetoni?

Da. Besedilo, ki je videti kot poseben žeton, na primer <|endoftext|>, se šteje kot ta žeton, tako kot bi ga obravnaval API.

### Ali se pri štetju klepetalnih sporočil upošteva dodatek?

Ne. Šteje se samo besedilo. API-ji za klepet vsakemu sporočilu dodajo nekaj žetonov za vloge in oblikovanje.

### Ali se moje besedilo shrani?

Ne. Tokenizira se samo za to zahtevo.

Vaš oglas tukaj?

[Pišite nam](mailto:hi@dennn.is?subject=Ogla%C5%A1evanje%20na%20OneClick%20Pro)

[Oglas 433 orodij za vaše agente UI prek enega strežnika MCP.](https://multitaskai.com/sl/?ref=oneclickpro)
