# Licznik tokenów

Policz tokeny w promptcie lub dokumencie za pomocą dokładnych tokenizatorów OpenAI (o200k_base dla GPT-4o i nowszych oraz cl100k_base dla GPT-4 i GPT-3.5), a także sprawdź liczbę znaków, słów i przybliżoną liczbę tokenów dla innych modeli. Przydatne, by zmieścić się w oknie kontekstu i oszacować koszty API.

## Najczęściej zadawane pytania

### Czym jest token?

Modele językowe odczytują tekst jako tokeny, czyli fragmenty słów tworzone przez tokenizator. W języku angielskim token ma średnio około czterech znaków lub trzy czwarte słowa, ale kod, liczby i inne języki wymagają ich więcej.

### Które tokenizatory są dokładne?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base i r50k_base (starsze modele GPT-3 i Codex). Tokeny są liczone za pomocą js-tiktoken, czyli portu JavaScript biblioteki tiktoken firmy OpenAI.

### A co z Claude, Gemini lub Llama?

Korzystają z własnych tokenizatorów. Narzędzie podaje szacunkową liczbę tokenów, przyjmując jeden token na cztery znaki, co jest zbliżone do wyniku dla angielskiej prozy. Dokładne wyniki uzyskasz za pomocą narzędzia API dostawcy do liczenia tokenów.

### Czy tokeny specjalne są uwzględniane?

Tak. Tekst wyglądający jak token specjalny, na przykład <|endoftext|>, jest liczony jako ten token, tak jak potraktowałby go API.

### Czy wiadomości czatu są liczone z narzutem?

Nie. Liczone są tylko tokeny w tekście. Interfejsy API czatu dodają po kilka tokenów na każdą wiadomość na potrzeby ról i formatowania.

### Czy mój tekst jest przechowywany?

Nie. Tokenizacja odbywa się tylko na potrzeby tego żądania.

Twoja reklama tutaj?

[Napisz do nas](mailto:hi@dennn.is?subject=Reklama%20w%20OneClick%20Pro)

[Reklama 433 narzędzi dla agentów AI przez jeden serwer MCP.](https://multitaskai.com/pl/?ref=oneclickpro)
