Pāriet uz saturu

Tokenu skaitītājs

Saskaitiet uzvednes vai dokumenta tokenus, izmantojot precīzos OpenAI tokenizatorus (o200k_base GPT-4o un jaunākiem modeļiem, cl100k_base GPT-4 un GPT-3.5 modeļiem), kā arī skatiet rakstzīmju un vārdu skaitu un aptuvenu novērtējumu citiem modeļiem. Noder, lai nepārsniegtu konteksta logu un aplēstu API izmaksas.

Atiestatīt

Bieži uzdotie jautājumi

Kas ir tokens?

Valodas modeļi tekstu lasa kā tokenus — tokenizatora veidotas vārdu daļas. Angļu valodā tokens vidēji ir aptuveni četras rakstzīmes jeb trīs ceturtdaļas vārda, bet kodā, skaitļos un citās valodās tokenu ir vairāk.

Kuri tokenizatori ir precīzi?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base un r50k_base (vecākiem GPT-3 un Codex modeļiem); skaitu veic js-tiktoken — JavaScript OpenAI tiktoken ports.

Kā ir ar Claude, Gemini vai Llama?

Tie izmanto savus tokenizatorus. Rīks rāda heiristisku novērtējumu — vienu tokenu uz četrām rakstzīmēm, kas aptuveni atbilst angļu prozai; precīzam skaitam izmantojiet pakalpojuma sniedzēja tokenu skaitīšanas API.

Vai tiek skaitīti īpašie tokeni?

Jā. Teksts, kas izskatās pēc īpaša tokena, piemēram, <|endoftext|>, tiek skaitīts kā šis tokens, tāpat kā to darītu API.

Vai tērzēšanas ziņojumi tiek skaitīti, iekļaujot papildu tokenus?

Nē. Tiek skaitīts tikai teksts. Tērzēšanas API katram ziņojumam pievieno dažus tokenus lomām un formatējumam.

Vai mans teksts tiek saglabāts?

Nē. Tas tiek tokenizēts tikai šim pieprasījumam.

Par OneClick Pro

OneClick Pro ir bezmaksas vairāk nekā 150 tīmekļa rīku kolekcija ikdienas darbam: attēlu un mērvienību konvertēšanai, koda formatēšanai un validēšanai, domēnu un SEO pārbaudei, kā arī darbam ar tekstu, datumiem un skaitļiem. Katru rīku var izmantot bez reģistrācijas vai abonēšanas, un ievadītie dati tiek izmantoti tikai rezultāta aprēķināšanai un nekad netiek saglabāti. Izmantojiet to kā ātru rīku kopumu atsevišķiem uzdevumiem vai pievienojiet grāmatzīmēm rīkus, ko lietojat katru dienu.