Počítadlo tokenů
Spočítejte tokeny v promptu nebo dokumentu pomocí přesných OpenAI tokenizérů (o200k_base pro GPT-4o a novější modely, cl100k_base pro GPT-4 a GPT-3.5) a zobrazte počet znaků a slov i hrubý odhad pro jiné modely. Pomůže vám dodržet limity kontextového okna a odhadnout náklady API.
Často kladené otázky
Co je token?
Jazykové modely čtou text jako tokeny, tedy části slov vytvořené tokenizérem. V angličtině má token v průměru asi čtyři znaky nebo tři čtvrtiny slova, ale kód, čísla a jiné jazyky jich používají více.
Které tokenizéry jsou přesné?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base a r50k_base (starší modely GPT-3 a Codex); počítá je js-tiktoken, JavaScript port nástroje tiktoken od OpenAI.
A co Claude, Gemini nebo Llama?
Používají vlastní tokenizéry. Nástroj zobrazuje heuristický odhad jednoho tokenu na čtyři znaky, což u anglického textu přibližně odpovídá skutečnosti; přesný počet zjistíte pomocí nástroje poskytovatele pro počítání tokenů API.
Počítají se i speciální tokeny?
Ano. Text, který vypadá jako speciální token, například <|endoftext|>, se počítá jako tento token, stejně jako by s ním zacházel API.
Počítají se zprávy chatu včetně režie?
Ne. Počet zahrnuje pouze text. Chatovací API přidávají několik tokenů na každou zprávu kvůli rolím a formátování.
Ukládá se můj text?
Ne. Tokenizuje se pouze pro tento požadavek.