# Tokeniloendur

Loenda viiba või dokumendi tokenid täpsete OpenAI tokeniseerijatega (o200k_base GPT-4o ja uuemate mudelite jaoks, cl100k_base GPT-4 ja GPT-3.5 jaoks) ning vaata märkide ja sõnade arvu ja teiste mudelite ligikaudset hinnangut. Kasulik kontekstiakna piirides püsimiseks ja API kulude hindamiseks.

## Korduma kippuvad küsimused

### Mis on token?

Keelemudelid loevad teksti tokenitena ehk tokeniseerija loodud sõnaosadena. Inglise keeles on token keskmiselt umbes neli märki ehk kolmveerand sõna, kuid koodis, arvudes ja teistes keeltes kasutatakse rohkem.

### Millised tokeniseerijad on täpsed?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ja r50k_base (vanemad GPT-3 ja Codex mudelid); loendamisel kasutatakse js-tiktokenit, mis on OpenAI tiktokeni JavaScript port.

### Aga Claude, Gemini või Llama?

Need kasutavad oma tokeniseerijaid. Tööriist näitab heuristilist hinnangut: üks token iga nelja märgi kohta, mis on ingliskeelse proosa puhul üsna täpne; täpse arvu saamiseks kasutage teenusepakkuja tokenite loendamise API.

### Kas eritokenid lähevad arvesse?

Jah. Eritokenina näivat teksti, näiteks <|endoftext|>, loetakse ühe tokenina, nagu seda käsitleks ka API.

### Kas vestlussõnumite loendamisel arvestatakse lisatokenitega?

Ei. Loend hõlmab ainult teksti. Vestluse API-d lisavad iga sõnumi kohta mõned tokenid rollide ja vormingu jaoks.

### Kas minu tekst salvestatakse?

Ei. See tokeniseeritakse ainult selle päringu jaoks.

Teie reklaam siin?

[Kirjutage meile](mailto:hi@dennn.is?subject=Reklaam%20OneClick%20Pro-is)

[Reklaam 433 tööriista teie tehisintellekti agentidele ühe MCP-serveri kaudu.](https://multitaskai.com/et/?ref=oneclickpro)
