Saltar al contenido

Contador de tokens

Cuenta los tokens de un prompt o documento con los tokenizadores exactos OpenAI (o200k_base para GPT-4o y versiones posteriores, cl100k_base para GPT-4 y GPT-3.5), y consulta los caracteres, las palabras y una estimación aproximada para otros modelos. Útil para respetar los límites de contexto y calcular los costes de API.

Restablecer

Preguntas frecuentes

¿Qué es un token?

Los modelos de lenguaje leen el texto en forma de tokens, fragmentos de palabras que genera un tokenizador. En inglés, un token equivale, de media, a unos cuatro caracteres o tres cuartas partes de una palabra, pero el código, los números y otros idiomas usan más.

¿Qué tokenizadores son exactos?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base y r50k_base (modelos GPT-3 más antiguos y Codex), con el recuento de js-tiktoken, la adaptación JavaScript de tiktoken de OpenAI.

¿Y qué pasa con Claude, Gemini o Llama?

Usan sus propios tokenizadores. La herramienta ofrece una estimación heurística de un token por cada cuatro caracteres, que se aproxima bastante al texto en inglés; para obtener cifras exactas, usa la herramienta API del proveedor.

¿Se cuentan los tokens especiales?

Sí. El texto que parece un token especial, como <|endoftext|>, se cuenta como ese token, igual que lo haría API.

¿Se cuentan los mensajes de chat con el coste adicional?

No. El recuento solo incluye el texto. Las API de chat añaden unos cuantos tokens por mensaje para los roles y el formato.

¿Se guarda mi texto?

No. Solo se tokeniza para esta solicitud.

Acerca de OneClick Pro

OneClick Pro es una colección gratuita de más de 150 herramientas web para las tareas cotidianas: convertir imágenes y unidades, dar formato y validar código, consultar dominios y SEO, y trabajar con texto, fechas y números. Todas las herramientas funcionan sin registro ni suscripción; los datos que introduce solo se utilizan para calcular el resultado y nunca se almacenan. Úsela como una caja de herramientas para tareas puntuales o añada a favoritos las que utiliza a diario.