Počítadlo tokenov
Spočítajte tokeny v zadanom texte alebo dokumente pomocou presných OpenAI tokenizérov (o200k_base pre GPT-4o a novšie modely, cl100k_base pre GPT-4 a GPT-3.5) a pozrite si počet znakov, slov a približný odhad pre ostatné modely. Pomôže vám dodržať limity kontextového okna a odhadnúť náklady na API.
Často kladené otázky
Čo je token?
Jazykové modely čítajú text ako tokeny, teda časti slov vytvorené tokenizérom. V angličtine má token v priemere asi štyri znaky alebo tri štvrtiny slova, no kód, čísla a iné jazyky ich môžu obsahovať viac.
Ktoré tokenizéry sú presné?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base a r50k_base (staršie modely GPT-3 a Codex); počítajú sa pomocou js-tiktoken, portu JavaScript knižnice tiktoken od OpenAI.
A čo Claude, Gemini alebo Llama?
Používajú vlastné tokenizéry. Nástroj zobrazuje heuristický odhad jedného tokenu na každé štyri znaky, čo sa približne zhoduje s anglickým textom; presný počet zistíte pomocou API na počítanie tokenov od poskytovateľa.
Počítajú sa aj špeciálne tokeny?
Áno. Text, ktorý vyzerá ako špeciálny token, napríklad <|endoftext|>, sa počíta ako tento token, rovnako ako by ho spracoval API.
Počítajú sa správy v chate aj s režijnými tokenmi?
Nie. Počet zahŕňa iba text. Chatové API pridávajú niekoľko tokenov za každú správu na označenie rolí a formátovanie.
Ukladá sa môj text?
Nie. Tokenizuje sa iba pre túto požiadavku.