Перейти к содержимому

Счетчик токенов

Подсчитайте токены в запросе или документе с помощью точных токенизаторов OpenAI (o200k_base для GPT-4o и новее, cl100k_base для GPT-4 и GPT-3.5), а также узнайте количество символов и слов и примерное число токенов для других моделей. Это поможет уложиться в контекстное окно и оценить расходы на API.

Сбросить

Часто задаваемые вопросы

Что такое токен?

Языковые модели читают текст как токены — части слов, которые создает токенизатор. В среднем в английском языке на один токен приходится около четырех символов или трех четвертей слова, но в коде, числах и других языках токенов больше.

Какие токенизаторы обеспечивают точный подсчет?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base и r50k_base (старые модели GPT-3 и Codex); подсчет выполняется с помощью js-tiktoken — порта JavaScript для OpenAI tiktoken.

А что насчет Claude, Gemini или Llama?

В них используются собственные токенизаторы. Инструмент показывает примерную оценку — один токен на четыре символа. Для английского текста она обычно близка к реальности; чтобы узнать точное число, воспользуйтесь средством подсчета токенов от поставщика API.

Учитываются ли специальные токены?

Да. Текст, похожий на специальный токен, например <|endoftext|>, учитывается как один токен — так же, как его посчитал бы API.

Учитываются ли дополнительные токены в сообщениях чата?

Нет. Считается только текст. API чата добавляют несколько токенов на каждое сообщение для указания ролей и форматирования.

Сохраняется ли мой текст?

Нет. Текст обрабатывается только для этого запроса.

О проекте OneClick Pro

OneClick Pro — это бесплатная коллекция из более чем 150 веб-инструментов для повседневных задач: преобразования изображений и единиц измерения, форматирования и проверки кода, проверки доменов и SEO, а также работы с текстом, датами и числами. Все инструменты доступны без регистрации и подписки, а введенные вами данные используются только для расчета результата и никогда не сохраняются. Используйте коллекцию как быстрый набор инструментов для разовых задач или добавьте в закладки те, которыми пользуетесь каждый день.