# Tokenszámláló

Számolja meg egy prompt vagy dokumentum tokenjeit a pontos OpenAI tokenizálókkal (o200k_base GPT-4o és újabb modellekhez, cl100k_base GPT-4 és GPT-3.5 modellekhez), és tekintse meg a karakterszámot, a szavak számát, valamint más modellek hozzávetőleges tokenmennyiségét. Segít a kontextusablakokon belül maradni és megbecsülni a API költségeket.

## Gyakran ismételt kérdések

### Mi az a token?

A nyelvi modellek tokenekként olvassák a szöveget, vagyis a tokenizáló által előállított szórészletekként. Angolul egy token átlagosan körülbelül négy karakternek vagy egy szó háromnegyedének felel meg, de a kódok, a számok és más nyelvek több tokent használnak.

### Mely tokenizálók pontosak?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base és r50k_base (régebbi GPT-3 és Codex modellek), a js-tiktoken eszközzel számlálva, amely a OpenAI tiktokenjének JavaScript portja.

### Mi a helyzet a Claude, a Gemini vagy a Llama modellekkel?

Ezek saját tokenizálókat használnak. Az eszköz heurisztikus becslése szerint négy karakterenként egy tokennel lehet számolni, ami közelítőleg megfelel az angol prózának; a pontos számokért használja a szolgáltató tokeneket számláló API eszközét.

### A speciális tokenek is beleszámítanak?

Igen. A speciális tokennek tűnő szöveget, például a <|endoftext|> karakterláncot, egy tokenként számolja, ahogyan azt a API is kezelné.

### A csevegőüzenetek számlálása tartalmazza a többlettokeneket?

Nem. A számlálás csak a szövegre terjed ki. A csevegési API-k üzenetenként néhány tokent hozzáadnak a szerepkörökhöz és a formázáshoz.

### Tárolódik a szövegem?

Nem. Csak ehhez a kéréshez történik tokenizálás.

Hirdetne nálunk?

[Írjon nekünk e-mailt](mailto:hi@dennn.is?subject=Hirdet%C3%A9s%20a%20OneClick%20Pro%20oldalon)

[Hirdetés 433 eszköz AI-ügynökei számára, egyetlen MCP-szerveren keresztül.](https://multitaskai.com/hu/?ref=oneclickpro)
