Pereiti prie turinio

Žetonų skaičiuoklė

Suskaičiuokite raginimo arba dokumento žetonus naudodami tikslius OpenAI žetonizatorius (o200k_base – skirta GPT-4o ir naujesniems modeliams, cl100k_base – GPT-4 ir GPT-3.5), taip pat peržiūrėkite simbolių ir žodžių skaičių bei apytikslį kitų modelių įvertį. Tai padeda neviršyti konteksto lango ir apskaičiuoti API išlaidas.

Nustatyti iš naujo

Dažnai užduodami klausimai

Kas yra žetonas?

Kalbos modeliai tekstą skaito kaip žetonus – žetonizatoriaus sudarytas žodžių dalis. Anglų kalboje vienas žetonas vidutiniškai atitinka maždaug keturis simbolius arba tris ketvirtadalius žodžio, tačiau kode, skaičiuose ir kitose kalbose jų reikia daugiau.

Kurie žetonizatoriai yra tikslūs?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ir r50k_base (senesniems GPT-3 ir Codex modeliams). Skaičiuojama naudojant js-tiktoken – JavaScript OpenAI tiktoken versiją.

O kaip dėl Claude, Gemini ar Llama?

Jie naudoja savo žetonizatorius. Įrankis pateikia euristinį įvertį – vieną žetoną keturiems simboliams; anglų kalbos prozai šis įvertis gana tikslus. Tiksliam skaičiui gauti naudokite teikėjo žetonų skaičiavimo API.

Ar specialieji žetonai įskaičiuojami?

Taip. Tekstas, panašus į specialųjį žetoną, pavyzdžiui, <|endoftext|>, skaičiuojamas kaip tas žetonas, kaip jį skaičiuotų API.

Ar skaičiuojant pokalbio žinutes įtraukiama papildoma žetonų sąnauda?

Ne. Skaičiuojamas tik tekstas. Pokalbių API prie kiekvienos žinutės prideda kelis žetonus, skirtus vaidmenims ir formatavimui.

Ar mano tekstas išsaugomas?

Ne. Tekstas žetonizuojamas tik šiai užklausai.

Apie OneClick Pro

OneClick Pro – nemokama kolekcija, kurioje yra daugiau nei 150 žiniatinklio įrankių kasdieniam darbui: vaizdams ir vienetams konvertuoti, kodui formatuoti ir tikrinti, domenams ir SEO tikrinti, taip pat tekstui, datoms ir skaičiams apdoroti. Visi įrankiai veikia be registracijos ar prenumeratos, o jūsų įvesti duomenys naudojami tik rezultatui apskaičiuoti ir niekada neišsaugomi. Naudokite juos kaip greitą įrankių rinkinį vienkartinėms užduotims arba įtraukite į žymes įrankius, kurių prireikia kasdien.