Tokenszámláló
Számolja meg egy prompt vagy dokumentum tokenjeit a pontos OpenAI tokenizálókkal (o200k_base GPT-4o és újabb modellekhez, cl100k_base GPT-4 és GPT-3.5 modellekhez), és tekintse meg a karakterszámot, a szavak számát, valamint más modellek hozzávetőleges tokenmennyiségét. Segít a kontextusablakokon belül maradni és megbecsülni a API költségeket.
Gyakran ismételt kérdések
Mi az a token?
A nyelvi modellek tokenekként olvassák a szöveget, vagyis a tokenizáló által előállított szórészletekként. Angolul egy token átlagosan körülbelül négy karakternek vagy egy szó háromnegyedének felel meg, de a kódok, a számok és más nyelvek több tokent használnak.
Mely tokenizálók pontosak?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base és r50k_base (régebbi GPT-3 és Codex modellek), a js-tiktoken eszközzel számlálva, amely a OpenAI tiktokenjének JavaScript portja.
Mi a helyzet a Claude, a Gemini vagy a Llama modellekkel?
Ezek saját tokenizálókat használnak. Az eszköz heurisztikus becslése szerint négy karakterenként egy tokennel lehet számolni, ami közelítőleg megfelel az angol prózának; a pontos számokért használja a szolgáltató tokeneket számláló API eszközét.
A speciális tokenek is beleszámítanak?
Igen. A speciális tokennek tűnő szöveget, például a <|endoftext|> karakterláncot, egy tokenként számolja, ahogyan azt a API is kezelné.
A csevegőüzenetek számlálása tartalmazza a többlettokeneket?
Nem. A számlálás csak a szövegre terjed ki. A csevegési API-k üzenetenként néhány tokent hozzáadnak a szerepkörökhöz és a formázáshoz.
Tárolódik a szövegem?
Nem. Csak ehhez a kéréshez történik tokenizálás.