Przejdź do treści

Licznik tokenów

Policz tokeny w promptcie lub dokumencie za pomocą dokładnych tokenizatorów OpenAI (o200k_base dla GPT-4o i nowszych oraz cl100k_base dla GPT-4 i GPT-3.5), a także sprawdź liczbę znaków, słów i przybliżoną liczbę tokenów dla innych modeli. Przydatne, by zmieścić się w oknie kontekstu i oszacować koszty API.

Resetuj

Najczęściej zadawane pytania

Czym jest token?

Modele językowe odczytują tekst jako tokeny, czyli fragmenty słów tworzone przez tokenizator. W języku angielskim token ma średnio około czterech znaków lub trzy czwarte słowa, ale kod, liczby i inne języki wymagają ich więcej.

Które tokenizatory są dokładne?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base i r50k_base (starsze modele GPT-3 i Codex). Tokeny są liczone za pomocą js-tiktoken, czyli portu JavaScript biblioteki tiktoken firmy OpenAI.

A co z Claude, Gemini lub Llama?

Korzystają z własnych tokenizatorów. Narzędzie podaje szacunkową liczbę tokenów, przyjmując jeden token na cztery znaki, co jest zbliżone do wyniku dla angielskiej prozy. Dokładne wyniki uzyskasz za pomocą narzędzia API dostawcy do liczenia tokenów.

Czy tokeny specjalne są uwzględniane?

Tak. Tekst wyglądający jak token specjalny, na przykład <|endoftext|>, jest liczony jako ten token, tak jak potraktowałby go API.

Czy wiadomości czatu są liczone z narzutem?

Nie. Liczone są tylko tokeny w tekście. Interfejsy API czatu dodają po kilka tokenów na każdą wiadomość na potrzeby ról i formatowania.

Czy mój tekst jest przechowywany?

Nie. Tokenizacja odbywa się tylko na potrzeby tego żądania.

O OneClick Pro

OneClick Pro to bezpłatny zbiór ponad 150 narzędzi internetowych do codziennej pracy: konwertowania obrazów i jednostek, formatowania i walidowania kodu, sprawdzania domen i SEO oraz pracy z tekstem, datami i liczbami. Każde narzędzie działa bez rejestracji i subskrypcji, a wprowadzone dane służą wyłącznie do obliczenia wyniku i nigdy nie są przechowywane. Używaj go jako podręcznego zestawu narzędzi do jednorazowych zadań lub dodaj do zakładek te, z których korzystasz każdego dnia.