Ugrás a tartalomhoz

Tokenszámláló

Számolja meg egy prompt vagy dokumentum tokenjeit a pontos OpenAI tokenizálókkal (o200k_base GPT-4o és újabb modellekhez, cl100k_base GPT-4 és GPT-3.5 modellekhez), és tekintse meg a karakterszámot, a szavak számát, valamint más modellek hozzávetőleges tokenmennyiségét. Segít a kontextusablakokon belül maradni és megbecsülni a API költségeket.

Visszaállítás

Gyakran ismételt kérdések

Mi az a token?

A nyelvi modellek tokenekként olvassák a szöveget, vagyis a tokenizáló által előállított szórészletekként. Angolul egy token átlagosan körülbelül négy karakternek vagy egy szó háromnegyedének felel meg, de a kódok, a számok és más nyelvek több tokent használnak.

Mely tokenizálók pontosak?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base és r50k_base (régebbi GPT-3 és Codex modellek), a js-tiktoken eszközzel számlálva, amely a OpenAI tiktokenjének JavaScript portja.

Mi a helyzet a Claude, a Gemini vagy a Llama modellekkel?

Ezek saját tokenizálókat használnak. Az eszköz heurisztikus becslése szerint négy karakterenként egy tokennel lehet számolni, ami közelítőleg megfelel az angol prózának; a pontos számokért használja a szolgáltató tokeneket számláló API eszközét.

A speciális tokenek is beleszámítanak?

Igen. A speciális tokennek tűnő szöveget, például a <|endoftext|> karakterláncot, egy tokenként számolja, ahogyan azt a API is kezelné.

A csevegőüzenetek számlálása tartalmazza a többlettokeneket?

Nem. A számlálás csak a szövegre terjed ki. A csevegési API-k üzenetenként néhány tokent hozzáadnak a szerepkörökhöz és a formázáshoz.

Tárolódik a szövegem?

Nem. Csak ehhez a kéréshez történik tokenizálás.

A OneClick Pro névjegye

A OneClick Pro több mint 150 webes eszközből álló, ingyenes gyűjtemény a mindennapi munkához: képek és mértékegységek átalakításához, kód formázásához és ellenőrzéséhez, domainek és SEO ellenőrzéséhez, valamint szövegekkel, dátumokkal és számokkal végzett munkához. Minden eszköz regisztráció és előfizetés nélkül használható; a megadott adatokat kizárólag az eredmény kiszámításához használjuk, és soha nem tároljuk. Használja gyors eszköztárként az alkalmi feladatokhoz, vagy mentse el könyvjelzőként a mindennap használt eszközöket.