Žetonų skaičiuoklė
Suskaičiuokite raginimo arba dokumento žetonus naudodami tikslius OpenAI žetonizatorius (o200k_base – skirta GPT-4o ir naujesniems modeliams, cl100k_base – GPT-4 ir GPT-3.5), taip pat peržiūrėkite simbolių ir žodžių skaičių bei apytikslį kitų modelių įvertį. Tai padeda neviršyti konteksto lango ir apskaičiuoti API išlaidas.
Dažnai užduodami klausimai
Kas yra žetonas?
Kalbos modeliai tekstą skaito kaip žetonus – žetonizatoriaus sudarytas žodžių dalis. Anglų kalboje vienas žetonas vidutiniškai atitinka maždaug keturis simbolius arba tris ketvirtadalius žodžio, tačiau kode, skaičiuose ir kitose kalbose jų reikia daugiau.
Kurie žetonizatoriai yra tikslūs?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ir r50k_base (senesniems GPT-3 ir Codex modeliams). Skaičiuojama naudojant js-tiktoken – JavaScript OpenAI tiktoken versiją.
O kaip dėl Claude, Gemini ar Llama?
Jie naudoja savo žetonizatorius. Įrankis pateikia euristinį įvertį – vieną žetoną keturiems simboliams; anglų kalbos prozai šis įvertis gana tikslus. Tiksliam skaičiui gauti naudokite teikėjo žetonų skaičiavimo API.
Ar specialieji žetonai įskaičiuojami?
Taip. Tekstas, panašus į specialųjį žetoną, pavyzdžiui, <|endoftext|>, skaičiuojamas kaip tas žetonas, kaip jį skaičiuotų API.
Ar skaičiuojant pokalbio žinutes įtraukiama papildoma žetonų sąnauda?
Ne. Skaičiuojamas tik tekstas. Pokalbių API prie kiekvienos žinutės prideda kelis žetonus, skirtus vaidmenims ir formatavimui.
Ar mano tekstas išsaugomas?
Ne. Tekstas žetonizuojamas tik šiai užklausai.