Tokenu skaitītājs
Saskaitiet uzvednes vai dokumenta tokenus, izmantojot precīzos OpenAI tokenizatorus (o200k_base GPT-4o un jaunākiem modeļiem, cl100k_base GPT-4 un GPT-3.5 modeļiem), kā arī skatiet rakstzīmju un vārdu skaitu un aptuvenu novērtējumu citiem modeļiem. Noder, lai nepārsniegtu konteksta logu un aplēstu API izmaksas.
Bieži uzdotie jautājumi
Kas ir tokens?
Valodas modeļi tekstu lasa kā tokenus — tokenizatora veidotas vārdu daļas. Angļu valodā tokens vidēji ir aptuveni četras rakstzīmes jeb trīs ceturtdaļas vārda, bet kodā, skaitļos un citās valodās tokenu ir vairāk.
Kuri tokenizatori ir precīzi?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base un r50k_base (vecākiem GPT-3 un Codex modeļiem); skaitu veic js-tiktoken — JavaScript OpenAI tiktoken ports.
Kā ir ar Claude, Gemini vai Llama?
Tie izmanto savus tokenizatorus. Rīks rāda heiristisku novērtējumu — vienu tokenu uz četrām rakstzīmēm, kas aptuveni atbilst angļu prozai; precīzam skaitam izmantojiet pakalpojuma sniedzēja tokenu skaitīšanas API.
Vai tiek skaitīti īpašie tokeni?
Jā. Teksts, kas izskatās pēc īpaša tokena, piemēram, <|endoftext|>, tiek skaitīts kā šis tokens, tāpat kā to darītu API.
Vai tērzēšanas ziņojumi tiek skaitīti, iekļaujot papildu tokenus?
Nē. Tiek skaitīts tikai teksts. Tērzēšanas API katram ziņojumam pievieno dažus tokenus lomām un formatējumam.
Vai mans teksts tiek saglabāts?
Nē. Tas tiek tokenizēts tikai šim pieprasījumam.