Aller au contenu

Compteur de jetons

Comptez les jetons d’un prompt ou d’un document avec les tokeniseurs exacts OpenAI (o200k_base pour GPT-4o et les versions ultérieures, cl100k_base pour GPT-4 et GPT-3.5), et consultez le nombre de caractères, de mots et une estimation approximative pour les autres modèles. Pratique pour respecter les limites de contexte et estimer les coûts API.

Réinitialiser

Foire aux questions

Qu’est-ce qu’un jeton ?

Les modèles de langage lisent le texte sous forme de jetons, des fragments de mots produits par un tokeniseur. En anglais, un jeton correspond en moyenne à environ quatre caractères ou aux trois quarts d’un mot, mais le code, les nombres et les autres langues en utilisent davantage.

Quels tokeniseurs sont exacts ?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base et r50k_base (anciens modèles GPT-3 et Codex), comptés avec js-tiktoken, le port JavaScript du tiktoken d’OpenAI.

Qu’en est-il de Claude, Gemini ou Llama ?

Ils utilisent leurs propres tokeniseurs. L’outil affiche une estimation heuristique d’un jeton pour quatre caractères, assez proche pour la prose en anglais ; pour obtenir des chiffres exacts, utilisez l’API de comptage des jetons du fournisseur.

Les jetons spéciaux sont-ils comptabilisés ?

Oui. Un texte qui ressemble à un jeton spécial, comme <|endoftext|>, est compté comme ce jeton, comme le ferait le API.

Les messages de chat sont-ils comptés avec une surcharge ?

Non. Le décompte porte uniquement sur le texte. Les API de chat ajoutent quelques jetons par message pour les rôles et le formatage.

Mon texte est-il enregistré ?

Non. Le texte est tokenisé uniquement pour cette requête.

À propos de OneClick Pro

OneClick Pro est une collection gratuite de plus de 150 outils Web pour les tâches du quotidien : convertir des images et des unités, formater et valider du code, vérifier des domaines et SEO, et travailler avec du texte, des dates et des nombres. Chaque outil fonctionne sans inscription ni abonnement, et les données saisies servent uniquement à calculer le résultat et ne sont jamais stockées. Utilisez cette boîte à outils pour des tâches ponctuelles ou ajoutez à vos favoris les outils dont vous vous servez chaque jour.