Lewati ke konten

Penghitung Token

Hitung token dalam prompt atau dokumen dengan tokenizer OpenAI yang akurat (o200k_base untuk GPT-4o dan yang lebih baru, cl100k_base untuk GPT-4 dan GPT-3.5), serta lihat jumlah karakter, kata, dan perkiraan kasar untuk model lain. Berguna untuk menjaga teks tetap dalam batas jendela konteks dan memperkirakan biaya API.

Reset

Pertanyaan yang sering diajukan

Apa itu token?

Model bahasa membaca teks sebagai token, yaitu potongan kata yang dihasilkan oleh tokenizer. Dalam bahasa Inggris, rata-rata satu token terdiri dari sekitar empat karakter atau tiga perempat kata, tetapi kode, angka, dan bahasa lain menggunakan lebih banyak token.

Tokenizer mana yang akurat?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base dan r50k_base (model GPT-3 yang lebih lama dan model Codex), dihitung dengan js-tiktoken, port JavaScript dari tiktoken milik OpenAI.

Bagaimana dengan Claude, Gemini, atau Llama?

Model-model tersebut menggunakan tokenizer masing-masing. Alat ini menampilkan perkiraan heuristik satu token untuk setiap empat karakter, yang mendekati hitungan untuk prosa bahasa Inggris; gunakan API penghitungan token milik penyedia untuk mendapatkan angka yang akurat.

Apakah token khusus ikut dihitung?

Ya. Teks yang tampak seperti token khusus, misalnya <|endoftext|>, dihitung sebagai token tersebut, seperti yang akan dilakukan API.

Apakah pesan obrolan dihitung dengan token tambahan?

Tidak. Hitungan hanya mencakup teks. API obrolan menambahkan beberapa token untuk setiap pesan guna menandai peran dan format.

Apakah teks saya disimpan?

Tidak. Teks hanya ditokenisasi untuk permintaan ini.

Tentang OneClick Pro

OneClick Pro adalah kumpulan gratis berisi lebih dari 150 alat web untuk pekerjaan sehari-hari: mengonversi gambar dan satuan, memformat dan memvalidasi kode, memeriksa domain dan SEO, serta bekerja dengan teks, tanggal, dan angka. Setiap alat dapat digunakan tanpa registrasi atau berlangganan, dan apa pun yang Anda masukkan hanya digunakan untuk menghitung hasil dan tidak pernah disimpan. Gunakan sebagai kotak alat praktis untuk tugas sesekali, atau simpan alat yang Anda gunakan setiap hari ke bookmark.