İçeriğe geç

Token Sayacı

Bir istemin veya belgenin token sayısını tam OpenAI tokenizer'larla (GPT-4o ve daha yenisi için o200k_base, GPT-4 ve GPT-3.5 için cl100k_base) hesaplayın; karakterleri, kelimeleri ve diğer modeller için yaklaşık tahmini görün. Bağlam penceresi sınırlarına uymak ve API maliyetlerini tahmin etmek için kullanışlıdır.

Sıfırla

Sık sorulan sorular

Token nedir?

Dil modelleri metni, bir tokenizer'ın ürettiği kelime parçaları olan tokenlar halinde okur. İngilizcede bir token ortalama dört karaktere veya bir kelimenin dörtte üçüne karşılık gelir; ancak kod, sayılar ve diğer diller daha fazla token kullanır.

Hangi tokenizer'lar tam sonuç verir?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base ve r50k_base (eski GPT-3 ve Codex modelleri) sayımları, OpenAI tiktoken'ının JavaScript portu olan js-tiktoken ile yapılır.

Claude, Gemini veya Llama için ne olacak?

Bunlar kendi tokenizer'larını kullanır. Araç, İngilizce düzyazı için yakın sonuç veren karakter başına bir tokenlık sezgisel bir tahmin gösterir; tam sayılar için sağlayıcının token sayma API özelliğini kullanın.

Özel tokenlar sayılır mı?

Evet. <|endoftext|> gibi özel bir tokene benzeyen metin, API nasıl sayacaksa o şekilde tek token olarak sayılır.

Sohbet mesajları ek yükle birlikte mi sayılır?

Hayır. Sayım yalnızca metni kapsar. Sohbet API'leri roller ve biçimlendirme için her mesaja birkaç token ekler.

Metnim saklanıyor mu?

Hayır. Yalnızca bu istek için tokenlara ayrılır.

OneClick Pro Hakkında

OneClick Pro, günlük işler için görüntüleri ve birimleri dönüştürme, kodu biçimlendirme ve doğrulama, alan adlarını ve SEO denetleme, metin, tarihler ve sayılarla çalışma gibi işlerde kullanabileceğiniz 150'den fazla web aracından oluşan ücretsiz bir koleksiyondur. Her araç kayıt veya abonelik gerektirmeden çalışır; girdiğiniz bilgiler yalnızca sonucu hesaplamak için kullanılır ve hiçbir zaman saklanmaz. Tek seferlik işler için hızlı bir araç kutusu olarak kullanabilir veya her gün başvurduğunuz araçları yer imlerine ekleyebilirsiniz.