Přejít k obsahu

Počítadlo tokenů

Spočítejte tokeny v promptu nebo dokumentu pomocí přesných OpenAI tokenizérů (o200k_base pro GPT-4o a novější modely, cl100k_base pro GPT-4 a GPT-3.5) a zobrazte počet znaků a slov i hrubý odhad pro jiné modely. Pomůže vám dodržet limity kontextového okna a odhadnout náklady API.

Obnovit

Často kladené otázky

Co je token?

Jazykové modely čtou text jako tokeny, tedy části slov vytvořené tokenizérem. V angličtině má token v průměru asi čtyři znaky nebo tři čtvrtiny slova, ale kód, čísla a jiné jazyky jich používají více.

Které tokenizéry jsou přesné?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base a r50k_base (starší modely GPT-3 a Codex); počítá je js-tiktoken, JavaScript port nástroje tiktoken od OpenAI.

A co Claude, Gemini nebo Llama?

Používají vlastní tokenizéry. Nástroj zobrazuje heuristický odhad jednoho tokenu na čtyři znaky, což u anglického textu přibližně odpovídá skutečnosti; přesný počet zjistíte pomocí nástroje poskytovatele pro počítání tokenů API.

Počítají se i speciální tokeny?

Ano. Text, který vypadá jako speciální token, například <|endoftext|>, se počítá jako tento token, stejně jako by s ním zacházel API.

Počítají se zprávy chatu včetně režie?

Ne. Počet zahrnuje pouze text. Chatovací API přidávají několik tokenů na každou zprávu kvůli rolím a formátování.

Ukládá se můj text?

Ne. Tokenizuje se pouze pro tento požadavek.

O OneClick Pro

OneClick Pro je bezplatná kolekce více než 150 webových nástrojů pro každodenní práci: převod obrázků a jednotek, formátování a ověřování kódu, kontrolu domén a SEO i práci s textem, daty a čísly. Každý nástroj funguje bez registrace či předplatného a zadané údaje se používají pouze k výpočtu výsledku a nikdy se neukládají. Používejte ji jako rychlou sadu nástrojů pro jednorázové úkoly nebo si uložte do záložek nástroje, na které se každý den spoléháte.