Preskočiť na obsah

Počítadlo tokenov

Spočítajte tokeny v zadanom texte alebo dokumente pomocou presných OpenAI tokenizérov (o200k_base pre GPT-4o a novšie modely, cl100k_base pre GPT-4 a GPT-3.5) a pozrite si počet znakov, slov a približný odhad pre ostatné modely. Pomôže vám dodržať limity kontextového okna a odhadnúť náklady na API.

Obnoviť

Často kladené otázky

Čo je token?

Jazykové modely čítajú text ako tokeny, teda časti slov vytvorené tokenizérom. V angličtine má token v priemere asi štyri znaky alebo tri štvrtiny slova, no kód, čísla a iné jazyky ich môžu obsahovať viac.

Ktoré tokenizéry sú presné?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base a r50k_base (staršie modely GPT-3 a Codex); počítajú sa pomocou js-tiktoken, portu JavaScript knižnice tiktoken od OpenAI.

A čo Claude, Gemini alebo Llama?

Používajú vlastné tokenizéry. Nástroj zobrazuje heuristický odhad jedného tokenu na každé štyri znaky, čo sa približne zhoduje s anglickým textom; presný počet zistíte pomocou API na počítanie tokenov od poskytovateľa.

Počítajú sa aj špeciálne tokeny?

Áno. Text, ktorý vyzerá ako špeciálny token, napríklad <|endoftext|>, sa počíta ako tento token, rovnako ako by ho spracoval API.

Počítajú sa správy v chate aj s režijnými tokenmi?

Nie. Počet zahŕňa iba text. Chatové API pridávajú niekoľko tokenov za každú správu na označenie rolí a formátovanie.

Ukladá sa môj text?

Nie. Tokenizuje sa iba pre túto požiadavku.

O stránke OneClick Pro

OneClick Pro je bezplatná kolekcia viac ako 150 webových nástrojov na každodennú prácu: na konverziu obrázkov a jednotiek, formátovanie a overovanie kódu, kontrolu domén a SEO, ako aj prácu s textom, dátumami a číslami. Každý nástroj funguje bez registrácie alebo predplatného a zadané údaje sa používajú iba na výpočet výsledku a nikdy sa neukladajú. Používajte ich ako rýchlu súpravu nástrojov na jednorazové úlohy alebo si uložte do záložiek nástroje, na ktoré sa spoliehate každý deň.