Лічильник токенів
Підраховуйте токени в запиті або документі за допомогою точних токенізаторів OpenAI (o200k_base для GPT-4o та новіших моделей, cl100k_base для GPT-4 і GPT-3.5), а також переглядайте кількість символів і слів та приблизну оцінку для інших моделей. Це допоможе вкладатися у вікна контексту й оцінювати витрати на API.
Поширені запитання
Що таке токен?
Мовні моделі читають текст як токени — фрагменти слів, які створює токенізатор. В англійській мові один токен у середньому дорівнює приблизно чотирьом символам або трьом чвертям слова, але для коду, чисел та інших мов потрібно більше токенів.
Які токенізатори точні?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base і r50k_base (старіші моделі GPT-3 та Codex), підраховані за допомогою js-tiktoken — порту JavaScript tiktoken від OpenAI.
А як щодо Claude, Gemini чи Llama?
У них власні токенізатори. Інструмент показує приблизну оцінку — один токен на чотири символи, що близько до результату для англійської прози; щоб отримати точні числа, скористайтеся інструментом підрахунку токенів від постачальника API.
Чи враховуються спеціальні токени?
Так. Текст, схожий на спеціальний токен, наприклад <|endoftext|>, рахується як цей токен, так само, як це робив би API.
Чи враховуються додаткові токени в повідомленнях чату?
Ні. Підраховується лише текст. Chat API додають по кілька токенів до кожного повідомлення для ролей і форматування.
Мій текст зберігається?
Ні. Текст токенізується лише для цього запиту.