Penghitung Token
Hitung token dalam prompt atau dokumen dengan tokenizer OpenAI yang akurat (o200k_base untuk GPT-4o dan yang lebih baru, cl100k_base untuk GPT-4 dan GPT-3.5), serta lihat jumlah karakter, kata, dan perkiraan kasar untuk model lain. Berguna untuk menjaga teks tetap dalam batas jendela konteks dan memperkirakan biaya API.
Pertanyaan yang sering diajukan
Apa itu token?
Model bahasa membaca teks sebagai token, yaitu potongan kata yang dihasilkan oleh tokenizer. Dalam bahasa Inggris, rata-rata satu token terdiri dari sekitar empat karakter atau tiga perempat kata, tetapi kode, angka, dan bahasa lain menggunakan lebih banyak token.
Tokenizer mana yang akurat?
o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base dan r50k_base (model GPT-3 yang lebih lama dan model Codex), dihitung dengan js-tiktoken, port JavaScript dari tiktoken milik OpenAI.
Bagaimana dengan Claude, Gemini, atau Llama?
Model-model tersebut menggunakan tokenizer masing-masing. Alat ini menampilkan perkiraan heuristik satu token untuk setiap empat karakter, yang mendekati hitungan untuk prosa bahasa Inggris; gunakan API penghitungan token milik penyedia untuk mendapatkan angka yang akurat.
Apakah token khusus ikut dihitung?
Ya. Teks yang tampak seperti token khusus, misalnya <|endoftext|>, dihitung sebagai token tersebut, seperti yang akan dilakukan API.
Apakah pesan obrolan dihitung dengan token tambahan?
Tidak. Hitungan hanya mencakup teks. API obrolan menambahkan beberapa token untuk setiap pesan guna menandai peran dan format.
Apakah teks saya disimpan?
Tidak. Teks hanya ditokenisasi untuk permintaan ini.