# Счетчик токенов

Подсчитайте токены в запросе или документе с помощью точных токенизаторов OpenAI (o200k_base для GPT-4o и новее, cl100k_base для GPT-4 и GPT-3.5), а также узнайте количество символов и слов и примерное число токенов для других моделей. Это поможет уложиться в контекстное окно и оценить расходы на API.

## Часто задаваемые вопросы

### Что такое токен?

Языковые модели читают текст как токены — части слов, которые создает токенизатор. В среднем в английском языке на один токен приходится около четырех символов или трех четвертей слова, но в коде, числах и других языках токенов больше.

### Какие токенизаторы обеспечивают точный подсчет?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base и r50k_base (старые модели GPT-3 и Codex); подсчет выполняется с помощью js-tiktoken — порта JavaScript для OpenAI tiktoken.

### А что насчет Claude, Gemini или Llama?

В них используются собственные токенизаторы. Инструмент показывает примерную оценку — один токен на четыре символа. Для английского текста она обычно близка к реальности; чтобы узнать точное число, воспользуйтесь средством подсчета токенов от поставщика API.

### Учитываются ли специальные токены?

Да. Текст, похожий на специальный токен, например <|endoftext|>, учитывается как один токен — так же, как его посчитал бы API.

### Учитываются ли дополнительные токены в сообщениях чата?

Нет. Считается только текст. API чата добавляют несколько токенов на каждое сообщение для указания ролей и форматирования.

### Сохраняется ли мой текст?

Нет. Текст обрабатывается только для этого запроса.

Ваша реклама здесь?

[Напишите нам по электронной почте](mailto:hi@dennn.is?subject=%D0%A0%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D0%B0%20%D0%BD%D0%B0%20OneClick%20Pro)

[Реклама 433 инструментов для ваших ИИ-агентов через один MCP-сервер.](https://multitaskai.com/ru/?ref=oneclickpro)
