Števec žetonov
Preštejte žetone v pozivu ali dokumentu z natančnimi OpenAI tokenizatorji (o200k_base za GPT-4o in novejše modele, cl100k_base za GPT-4 in GPT-3.5) ter si oglejte število znakov in besed ter grobo oceno za druge modele. Uporabno za upoštevanje omejitev kontekstnega okna in ocenjevanje API stroškov.
Pogosta vprašanja
Kaj je žeton?
Jezikovni modeli berejo besedilo kot žetone, torej dele besed, ki jih ustvari tokenizator. V angleščini žeton v povprečju obsega približno štiri znake ali tri četrtine besede, pri kodi, številkah in drugih jezikih pa je teh znakov več.
Kateri tokenizatorji so natančni?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base in r50k_base (starejši modeli GPT-3 in Codex), prešteti z js-tiktoken, JavaScript prenosom tiktoken iz OpenAI.
Kaj pa Claude, Gemini ali Llama?
Uporabljajo lastne tokenizatorje. Orodje prikaže hevristično oceno enega žetona na štiri znake, kar je blizu za angleško prozo; za natančno število uporabite ponudnikovo API za štetje žetonov.
Ali se štejejo tudi posebni žetoni?
Da. Besedilo, ki je videti kot poseben žeton, na primer <|endoftext|>, se šteje kot ta žeton, tako kot bi ga obravnaval API.
Ali se pri štetju klepetalnih sporočil upošteva dodatek?
Ne. Šteje se samo besedilo. API-ji za klepet vsakemu sporočilu dodajo nekaj žetonov za vloge in oblikovanje.
Ali se moje besedilo shrani?
Ne. Tokenizira se samo za to zahtevo.