トークンカウンター
プロンプトやドキュメントのトークン数を、正確なOpenAIトークナイザー(GPT-4o以降はo200k_base、GPT-4とGPT-3.5はcl100k_base)で数え、文字数、単語数、その他のモデル向けのおおよその推定値も確認できます。コンテキストウィンドウ内に収める際や、APIコストの見積もりに便利です。
よくある質問
トークンとは何ですか?
言語モデルは、テキストをトークナイザーが生成した単語の断片であるトークンとして読み取ります。英語では平均して1トークンは約4文字、または単語の約4分の3に相当しますが、コード、数字、その他の言語ではより多くのトークンが使われます。
正確なトークナイザーはどれですか?
o200k_base(GPT-4o、GPT-4.1、o1、o3、o4-mini)、cl100k_base(GPT-4、GPT-3.5 Turbo、text-embedding-3)、p50k_baseとr50k_base(旧世代のGPT-3およびCodexモデル)のトークン数を、OpenAIのtiktokenをJavaScriptに移植したjs-tiktokenで数えます。
Claude、Gemini、Llamaの場合はどうなりますか?
それぞれ独自のトークナイザーを使います。このツールでは、英語の文章なら近い値になる、4文字につき1トークンというヒューリスティックな推定値を表示します。正確な数値は、プロバイダーのトークン数カウントAPIをご利用ください。
特殊トークンも数えられますか?
はい。<|endoftext|>のような特殊トークンに見えるテキストは、APIが扱うのと同じように、そのトークンとして数えられます。
チャットメッセージは追加分も含めて数えられますか?
いいえ。テキストのみを数えます。チャットAPIでは、ロールや書式設定のためにメッセージごとに数個のトークンが追加されます。
入力したテキストは保存されますか?
いいえ。このリクエストの処理にのみ使用されます。