Към съдържанието

Брояч на токени

Бройте токените в подканa или документ с точните OpenAI токенизатори (o200k_base за GPT-4o и по-нови модели, cl100k_base за GPT-4 и GPT-3.5) и вижте броя знаци и думи, както и приблизителна оценка за други модели. Полезно за спазване на ограниченията на контекстния прозорец и оценяване на разходите за API.

Нулиране

Често задавани въпроси

Какво е токен?

Езиковите модели четат текста като токени — части от думи, получени от токенизатор. В английския един токен е средно около четири знака или три четвърти от дума, но кодът, числата и другите езици използват повече.

Кои токенизатори дават точен резултат?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base и r50k_base (по-старите модели GPT-3 и Codex), преброени с js-tiktoken — JavaScript порт на tiktoken на OpenAI.

А какво ще кажете за Claude, Gemini или Llama?

Те използват собствени токенизатори. Инструментът показва евристична оценка от един токен на всеки четири знака, която е близка за английски текст; за точни стойности използвайте API за броене на токени от доставчика.

Броят ли се специалните токени?

Да. Текст, който изглежда като специален токен, например <|endoftext|>, се брои като такъв — както би го отчел API.

Броят ли се съобщенията в чата с допълнителни токени?

Не. Броят обхваща само текста. Чат API добавят по няколко токена за всяко съобщение за роли и форматиране.

Съхранява ли се текстът ми?

Не. Текстът се токенизира само за тази заявка.

За OneClick Pro

OneClick Pro е безплатна колекция от над 150 уеб инструмента за ежедневна работа: преобразуване на изображения и единици, форматиране и валидиране на код, проверка на домейни и SEO, както и работа с текст, дати и числа. Всеки инструмент работи без регистрация или абонамент, а въведеното от вас се използва само за изчисляване на резултата и никога не се съхранява. Използвайте го като бърз набор от инструменти за еднократни задачи или добавете в отметките инструментите, на които разчитате всеки ден.