# Penghitung Token

Hitung token dalam prompt atau dokumen dengan tokenizer OpenAI yang akurat (o200k_base untuk GPT-4o dan yang lebih baru, cl100k_base untuk GPT-4 dan GPT-3.5), serta lihat jumlah karakter, kata, dan perkiraan kasar untuk model lain. Berguna untuk menjaga teks tetap dalam batas jendela konteks dan memperkirakan biaya API.

## Pertanyaan yang sering diajukan

### Apa itu token?

Model bahasa membaca teks sebagai token, yaitu potongan kata yang dihasilkan oleh tokenizer. Dalam bahasa Inggris, rata-rata satu token terdiri dari sekitar empat karakter atau tiga perempat kata, tetapi kode, angka, dan bahasa lain menggunakan lebih banyak token.

### Tokenizer mana yang akurat?

o200k_base (GPT-4o, GPT-4.1, o1, o3, o4-mini), cl100k_base (GPT-4, GPT-3.5 Turbo, text-embedding-3), p50k_base dan r50k_base (model GPT-3 yang lebih lama dan model Codex), dihitung dengan js-tiktoken, port JavaScript dari tiktoken milik OpenAI.

### Bagaimana dengan Claude, Gemini, atau Llama?

Model-model tersebut menggunakan tokenizer masing-masing. Alat ini menampilkan perkiraan heuristik satu token untuk setiap empat karakter, yang mendekati hitungan untuk prosa bahasa Inggris; gunakan API penghitungan token milik penyedia untuk mendapatkan angka yang akurat.

### Apakah token khusus ikut dihitung?

Ya. Teks yang tampak seperti token khusus, misalnya <|endoftext|>, dihitung sebagai token tersebut, seperti yang akan dilakukan API.

### Apakah pesan obrolan dihitung dengan token tambahan?

Tidak. Hitungan hanya mencakup teks. API obrolan menambahkan beberapa token untuk setiap pesan guna menandai peran dan format.

### Apakah teks saya disimpan?

Tidak. Teks hanya ditokenisasi untuk permintaan ini.

Iklan Anda di sini?

[Email kami](mailto:hi@dennn.is?subject=Beriklan%20di%20OneClick%20Pro)

[Iklan 433 alat untuk agen AI Anda melalui satu server MCP.](https://multitaskai.com/id/?ref=oneclickpro)
