Счетчик токенов
Подсчитайте токены в запросе или документе с помощью точных токенизаторов OpenAI (o200k_base для GPT-4o и новее, cl100k_base для GPT-4 и GPT-3.5), а также узнайте количество символов и слов и примерное число токенов для других моделей. Это поможет уложиться в контекстное окно и оценить расходы на API.
Часто задаваемые вопросы
Что такое токен?
Языковые модели читают текст как токены — части слов, которые создает токенизатор. В среднем в английском языке на один токен приходится около четырех символов или трех четвертей слова, но в коде, числах и других языках токенов больше.
Какие токенизаторы обеспечивают точный подсчет?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base и r50k_base (старые модели GPT-3 и Codex); подсчет выполняется с помощью js-tiktoken — порта JavaScript для OpenAI tiktoken.
А что насчет Claude, Gemini или Llama?
В них используются собственные токенизаторы. Инструмент показывает примерную оценку — один токен на четыре символа. Для английского текста она обычно близка к реальности; чтобы узнать точное число, воспользуйтесь средством подсчета токенов от поставщика API.
Учитываются ли специальные токены?
Да. Текст, похожий на специальный токен, например <|endoftext|>, учитывается как один токен — так же, как его посчитал бы API.
Учитываются ли дополнительные токены в сообщениях чата?
Нет. Считается только текст. API чата добавляют несколько токенов на каждое сообщение для указания ролей и форматирования.
Сохраняется ли мой текст?
Нет. Текст обрабатывается только для этого запроса.