Token Sayacı
Bir istemin veya belgenin token sayısını tam OpenAI tokenizer'larla (GPT-4o ve daha yenisi için o200k_base, GPT-4 ve GPT-3.5 için cl100k_base) hesaplayın; karakterleri, kelimeleri ve diğer modeller için yaklaşık tahmini görün. Bağlam penceresi sınırlarına uymak ve API maliyetlerini tahmin etmek için kullanışlıdır.
Sık sorulan sorular
Token nedir?
Dil modelleri metni, bir tokenizer'ın ürettiği kelime parçaları olan tokenlar halinde okur. İngilizcede bir token ortalama dört karaktere veya bir kelimenin dörtte üçüne karşılık gelir; ancak kod, sayılar ve diğer diller daha fazla token kullanır.
Hangi tokenizer'lar tam sonuç verir?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ve r50k_base (eski GPT-3 ve Codex modelleri) sayımları, OpenAI tiktoken'ının JavaScript portu olan js-tiktoken ile yapılır.
Claude, Gemini veya Llama için ne olacak?
Bunlar kendi tokenizer'larını kullanır. Araç, İngilizce düzyazı için yakın sonuç veren karakter başına bir tokenlık sezgisel bir tahmin gösterir; tam sayılar için sağlayıcının token sayma API özelliğini kullanın.
Özel tokenlar sayılır mı?
Evet. <|endoftext|> gibi özel bir tokene benzeyen metin, API nasıl sayacaksa o şekilde tek token olarak sayılır.
Sohbet mesajları ek yükle birlikte mi sayılır?
Hayır. Sayım yalnızca metni kapsar. Sohbet API'leri roller ve biçimlendirme için her mesaja birkaç token ekler.
Metnim saklanıyor mu?
Hayır. Yalnızca bu istek için tokenlara ayrılır.