# Žetonų skaičiuoklė

Suskaičiuokite raginimo arba dokumento žetonus naudodami tikslius OpenAI žetonizatorius (o200k_base – skirta GPT-4o ir naujesniems modeliams, cl100k_base – GPT-4 ir GPT-3.5), taip pat peržiūrėkite simbolių ir žodžių skaičių bei apytikslį kitų modelių įvertį. Tai padeda neviršyti konteksto lango ir apskaičiuoti API išlaidas.

## Dažnai užduodami klausimai

### Kas yra žetonas?

Kalbos modeliai tekstą skaito kaip žetonus – žetonizatoriaus sudarytas žodžių dalis. Anglų kalboje vienas žetonas vidutiniškai atitinka maždaug keturis simbolius arba tris ketvirtadalius žodžio, tačiau kode, skaičiuose ir kitose kalbose jų reikia daugiau.

### Kurie žetonizatoriai yra tikslūs?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ir r50k_base (senesniems GPT-3 ir Codex modeliams). Skaičiuojama naudojant js-tiktoken – JavaScript OpenAI tiktoken versiją.

### O kaip dėl Claude, Gemini ar Llama?

Jie naudoja savo žetonizatorius. Įrankis pateikia euristinį įvertį – vieną žetoną keturiems simboliams; anglų kalbos prozai šis įvertis gana tikslus. Tiksliam skaičiui gauti naudokite teikėjo žetonų skaičiavimo API.

### Ar specialieji žetonai įskaičiuojami?

Taip. Tekstas, panašus į specialųjį žetoną, pavyzdžiui, <|endoftext|>, skaičiuojamas kaip tas žetonas, kaip jį skaičiuotų API.

### Ar skaičiuojant pokalbio žinutes įtraukiama papildoma žetonų sąnauda?

Ne. Skaičiuojamas tik tekstas. Pokalbių API prie kiekvienos žinutės prideda kelis žetonus, skirtus vaidmenims ir formatavimui.

### Ar mano tekstas išsaugomas?

Ne. Tekstas žetonizuojamas tik šiai užklausai.

Jūsų reklama čia?

[Parašykite mums el. paštu](mailto:hi@dennn.is?subject=Reklama%20svetain%C4%97je%20OneClick%20Pro)

[Reklama 433 įrankių jūsų DI agentams per vieną MCP serverį.](https://multitaskai.com/lt/?ref=oneclickpro)
