Перейти до вмісту

Лічильник токенів

Підраховуйте токени в запиті або документі за допомогою точних токенізаторів OpenAI (o200k_base для GPT-4o та новіших моделей, cl100k_base для GPT-4 і GPT-3.5), а також переглядайте кількість символів і слів та приблизну оцінку для інших моделей. Це допоможе вкладатися у вікна контексту й оцінювати витрати на API.

Скинути

Поширені запитання

Що таке токен?

Мовні моделі читають текст як токени — фрагменти слів, які створює токенізатор. В англійській мові один токен у середньому дорівнює приблизно чотирьом символам або трьом чвертям слова, але для коду, чисел та інших мов потрібно більше токенів.

Які токенізатори точні?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base і r50k_base (старіші моделі GPT-3 та Codex), підраховані за допомогою js-tiktoken — порту JavaScript tiktoken від OpenAI.

А як щодо Claude, Gemini чи Llama?

У них власні токенізатори. Інструмент показує приблизну оцінку — один токен на чотири символи, що близько до результату для англійської прози; щоб отримати точні числа, скористайтеся інструментом підрахунку токенів від постачальника API.

Чи враховуються спеціальні токени?

Так. Текст, схожий на спеціальний токен, наприклад <|endoftext|>, рахується як цей токен, так само, як це робив би API.

Чи враховуються додаткові токени в повідомленнях чату?

Ні. Підраховується лише текст. Chat API додають по кілька токенів до кожного повідомлення для ролей і форматування.

Мій текст зберігається?

Ні. Текст токенізується лише для цього запиту.

Про OneClick Pro

OneClick Pro — це безкоштовна колекція з понад 150 вебінструментів для повсякденної роботи: конвертації зображень і одиниць, форматування та перевірки коду, перевірки доменів і SEO, а також роботи з текстом, датами й числами. Кожен інструмент працює без реєстрації чи передплати, а введені вами дані використовуються лише для обчислення результату й ніколи не зберігаються. Використовуйте цю добірку як швидкий набір інструментів для разових завдань або додайте в закладки інструменти, якими користуєтеся щодня.