# トークンカウンター

プロンプトやドキュメントのトークン数を、正確なOpenAIトークナイザー（GPT-4o以降はo200k_base、GPT-4とGPT-3.5はcl100k_base）で数え、文字数、単語数、その他のモデル向けのおおよその推定値も確認できます。コンテキストウィンドウ内に収める際や、APIコストの見積もりに便利です。

## よくある質問

### トークンとは何ですか？

言語モデルは、テキストをトークナイザーが生成した単語の断片であるトークンとして読み取ります。英語では平均して1トークンは約4文字、または単語の約4分の3に相当しますが、コード、数字、その他の言語ではより多くのトークンが使われます。

### 正確なトークナイザーはどれですか？

o200k_base（GPT-4o、GPT-4.1、o1、o3、o4-mini）、cl100k_base（GPT-4、GPT-3.5 Turbo、text-embedding-3）、p50k_baseとr50k_base（旧世代のGPT-3およびCodexモデル）のトークン数を、OpenAIのtiktokenをJavaScriptに移植したjs-tiktokenで数えます。

### Claude、Gemini、Llamaの場合はどうなりますか？

それぞれ独自のトークナイザーを使います。このツールでは、英語の文章なら近い値になる、4文字につき1トークンというヒューリスティックな推定値を表示します。正確な数値は、プロバイダーのトークン数カウントAPIをご利用ください。

### 特殊トークンも数えられますか？

はい。<|endoftext|>のような特殊トークンに見えるテキストは、APIが扱うのと同じように、そのトークンとして数えられます。

### チャットメッセージは追加分も含めて数えられますか？

いいえ。テキストのみを数えます。チャットAPIでは、ロールや書式設定のためにメッセージごとに数個のトークンが追加されます。

### 入力したテキストは保存されますか？

いいえ。このリクエストの処理にのみ使用されます。

ここに広告を掲載しませんか？

[メールでお問い合わせ](mailto:hi@dennn.is?subject=OneClick%20Pro%E3%81%A7%E3%81%AE%E5%BA%83%E5%91%8A%E6%8E%B2%E8%BC%89)

[広告 433 個のツールを1つのMCPサーバーでAIエージェントに提供します。](https://multitaskai.com/ja/?ref=oneclickpro)
