Liigu sisu juurde

Tokeniloendur

Loenda viiba või dokumendi tokenid täpsete OpenAI tokeniseerijatega (o200k_base GPT-4o ja uuemate mudelite jaoks, cl100k_base GPT-4 ja GPT-3.5 jaoks) ning vaata märkide ja sõnade arvu ja teiste mudelite ligikaudset hinnangut. Kasulik kontekstiakna piirides püsimiseks ja API kulude hindamiseks.

Lähtesta

Korduma kippuvad küsimused

Mis on token?

Keelemudelid loevad teksti tokenitena ehk tokeniseerija loodud sõnaosadena. Inglise keeles on token keskmiselt umbes neli märki ehk kolmveerand sõna, kuid koodis, arvudes ja teistes keeltes kasutatakse rohkem.

Millised tokeniseerijad on täpsed?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ja r50k_base (vanemad GPT-3 ja Codex mudelid); loendamisel kasutatakse js-tiktokenit, mis on OpenAI tiktokeni JavaScript port.

Aga Claude, Gemini või Llama?

Need kasutavad oma tokeniseerijaid. Tööriist näitab heuristilist hinnangut: üks token iga nelja märgi kohta, mis on ingliskeelse proosa puhul üsna täpne; täpse arvu saamiseks kasutage teenusepakkuja tokenite loendamise API.

Kas eritokenid lähevad arvesse?

Jah. Eritokenina näivat teksti, näiteks <|endoftext|>, loetakse ühe tokenina, nagu seda käsitleks ka API.

Kas vestlussõnumite loendamisel arvestatakse lisatokenitega?

Ei. Loend hõlmab ainult teksti. Vestluse API-d lisavad iga sõnumi kohta mõned tokenid rollide ja vormingu jaoks.

Kas minu tekst salvestatakse?

Ei. See tokeniseeritakse ainult selle päringu jaoks.

Teave OneClick Pro kohta

OneClick Pro on tasuta kollektsioon, mis sisaldab üle 150 veebitööriista igapäevatööks: piltide ja ühikute teisendamiseks, koodi vormindamiseks ja valideerimiseks, domeenide ja SEO kontrollimiseks ning teksti, kuupäevade ja numbritega töötamiseks. Kõik tööriistad toimivad ilma registreerimise või tellimuseta ning sisestatut kasutatakse ainult tulemuse arvutamiseks ega salvestata kunagi. Kasutage seda kiire tööriistakastina ühekordsete ülesannete jaoks või lisage järjehoidjatesse tööriistad, mida iga päev kasutate.