Tokeniloendur
Loenda viiba või dokumendi tokenid täpsete OpenAI tokeniseerijatega (o200k_base GPT-4o ja uuemate mudelite jaoks, cl100k_base GPT-4 ja GPT-3.5 jaoks) ning vaata märkide ja sõnade arvu ja teiste mudelite ligikaudset hinnangut. Kasulik kontekstiakna piirides püsimiseks ja API kulude hindamiseks.
Korduma kippuvad küsimused
Mis on token?
Keelemudelid loevad teksti tokenitena ehk tokeniseerija loodud sõnaosadena. Inglise keeles on token keskmiselt umbes neli märki ehk kolmveerand sõna, kuid koodis, arvudes ja teistes keeltes kasutatakse rohkem.
Millised tokeniseerijad on täpsed?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ja r50k_base (vanemad GPT-3 ja Codex mudelid); loendamisel kasutatakse js-tiktokenit, mis on OpenAI tiktokeni JavaScript port.
Aga Claude, Gemini või Llama?
Need kasutavad oma tokeniseerijaid. Tööriist näitab heuristilist hinnangut: üks token iga nelja märgi kohta, mis on ingliskeelse proosa puhul üsna täpne; täpse arvu saamiseks kasutage teenusepakkuja tokenite loendamise API.
Kas eritokenid lähevad arvesse?
Jah. Eritokenina näivat teksti, näiteks <|endoftext|>, loetakse ühe tokenina, nagu seda käsitleks ka API.
Kas vestlussõnumite loendamisel arvestatakse lisatokenitega?
Ei. Loend hõlmab ainult teksti. Vestluse API-d lisavad iga sõnumi kohta mõned tokenid rollide ja vormingu jaoks.
Kas minu tekst salvestatakse?
Ei. See tokeniseeritakse ainult selle päringu jaoks.