Preskoči na vsebino

Števec žetonov

Preštejte žetone v pozivu ali dokumentu z natančnimi OpenAI tokenizatorji (o200k_base za GPT-4o in novejše modele, cl100k_base za GPT-4 in GPT-3.5) ter si oglejte število znakov in besed ter grobo oceno za druge modele. Uporabno za upoštevanje omejitev kontekstnega okna in ocenjevanje API stroškov.

Ponastavi

Pogosta vprašanja

Kaj je žeton?

Jezikovni modeli berejo besedilo kot žetone, torej dele besed, ki jih ustvari tokenizator. V angleščini žeton v povprečju obsega približno štiri znake ali tri četrtine besede, pri kodi, številkah in drugih jezikih pa je teh znakov več.

Kateri tokenizatorji so natančni?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base in r50k_base (starejši modeli GPT-3 in Codex), prešteti z js-tiktoken, JavaScript prenosom tiktoken iz OpenAI.

Kaj pa Claude, Gemini ali Llama?

Uporabljajo lastne tokenizatorje. Orodje prikaže hevristično oceno enega žetona na štiri znake, kar je blizu za angleško prozo; za natančno število uporabite ponudnikovo API za štetje žetonov.

Ali se štejejo tudi posebni žetoni?

Da. Besedilo, ki je videti kot poseben žeton, na primer <|endoftext|>, se šteje kot ta žeton, tako kot bi ga obravnaval API.

Ali se pri štetju klepetalnih sporočil upošteva dodatek?

Ne. Šteje se samo besedilo. API-ji za klepet vsakemu sporočilu dodajo nekaj žetonov za vloge in oblikovanje.

Ali se moje besedilo shrani?

Ne. Tokenizira se samo za to zahtevo.

O spletnem mestu OneClick Pro

OneClick Pro je brezplačna zbirka z več kot 150 spletnimi orodji za vsakodnevno delo: za pretvarjanje slik in enot, oblikovanje in preverjanje kode, preverjanje domen in SEO ter delo z besedilom, datumi in števili. Vsako orodje deluje brez registracije ali naročnine, vnesene podatke pa uporabimo samo za izračun rezultata in jih nikoli ne shranimo. Zbirko lahko uporabljate kot priročen nabor orodij za posamezna opravila ali si dodate med zaznamke orodja, ki jih uporabljate vsak dan.