# Tokenu skaitītājs

Saskaitiet uzvednes vai dokumenta tokenus, izmantojot precīzos OpenAI tokenizatorus (o200k_base GPT-4o un jaunākiem modeļiem, cl100k_base GPT-4 un GPT-3.5 modeļiem), kā arī skatiet rakstzīmju un vārdu skaitu un aptuvenu novērtējumu citiem modeļiem. Noder, lai nepārsniegtu konteksta logu un aplēstu API izmaksas.

## Bieži uzdotie jautājumi

### Kas ir tokens?

Valodas modeļi tekstu lasa kā tokenus — tokenizatora veidotas vārdu daļas. Angļu valodā tokens vidēji ir aptuveni četras rakstzīmes jeb trīs ceturtdaļas vārda, bet kodā, skaitļos un citās valodās tokenu ir vairāk.

### Kuri tokenizatori ir precīzi?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base un r50k_base (vecākiem GPT-3 un Codex modeļiem); skaitu veic js-tiktoken — JavaScript OpenAI tiktoken ports.

### Kā ir ar Claude, Gemini vai Llama?

Tie izmanto savus tokenizatorus. Rīks rāda heiristisku novērtējumu — vienu tokenu uz četrām rakstzīmēm, kas aptuveni atbilst angļu prozai; precīzam skaitam izmantojiet pakalpojuma sniedzēja tokenu skaitīšanas API.

### Vai tiek skaitīti īpašie tokeni?

Jā. Teksts, kas izskatās pēc īpaša tokena, piemēram, <|endoftext|>, tiek skaitīts kā šis tokens, tāpat kā to darītu API.

### Vai tērzēšanas ziņojumi tiek skaitīti, iekļaujot papildu tokenus?

Nē. Tiek skaitīts tikai teksts. Tērzēšanas API katram ziņojumam pievieno dažus tokenus lomām un formatējumam.

### Vai mans teksts tiek saglabāts?

Nē. Tas tiek tokenizēts tikai šim pieprasījumam.

Jūsu reklāma šeit?

[Rakstiet mums](mailto:hi@dennn.is?subject=Rekl%C4%81ma%20vietn%C4%93%20OneClick%20Pro)

[Reklāma 433 rīki jūsu MI aģentiem, izmantojot vienu MCP serveri.](https://multitaskai.com/lv/?ref=oneclickpro)
