コンテンツへスキップ

トークンカウンター

プロンプトやドキュメントのトークン数を、正確なOpenAIトークナイザー(GPT-4o以降はo200k_base、GPT-4とGPT-3.5はcl100k_base)で数え、文字数、単語数、その他のモデル向けのおおよその推定値も確認できます。コンテキストウィンドウ内に収める際や、APIコストの見積もりに便利です。

リセット

よくある質問

トークンとは何ですか?

言語モデルは、テキストをトークナイザーが生成した単語の断片であるトークンとして読み取ります。英語では平均して1トークンは約4文字、または単語の約4分の3に相当しますが、コード、数字、その他の言語ではより多くのトークンが使われます。

正確なトークナイザーはどれですか?

o200k_base(GPT-4o、GPT-4.1、o1、o3、o4-mini)、cl100k_base(GPT-4、GPT-3.5 Turbo、text-embedding-3)、p50k_baseとr50k_base(旧世代のGPT-3およびCodexモデル)のトークン数を、OpenAIのtiktokenをJavaScriptに移植したjs-tiktokenで数えます。

Claude、Gemini、Llamaの場合はどうなりますか?

それぞれ独自のトークナイザーを使います。このツールでは、英語の文章なら近い値になる、4文字につき1トークンというヒューリスティックな推定値を表示します。正確な数値は、プロバイダーのトークン数カウントAPIをご利用ください。

特殊トークンも数えられますか?

はい。<|endoftext|>のような特殊トークンに見えるテキストは、APIが扱うのと同じように、そのトークンとして数えられます。

チャットメッセージは追加分も含めて数えられますか?

いいえ。テキストのみを数えます。チャットAPIでは、ロールや書式設定のためにメッセージごとに数個のトークンが追加されます。

入力したテキストは保存されますか?

いいえ。このリクエストの処理にのみ使用されます。

OneClick Proについて

OneClick Proは、日々の作業に役立つ150以上のウェブツールを集めた無料コレクションです。画像や単位の変換、コードの整形と検証、ドメインやSEOの確認、テキスト、日付、数値の処理などに利用できます。すべてのツールは登録やサブスクリプションなしで使えます。入力した内容は結果の計算にのみ使用され、保存されることはありません。単発の作業に使える便利なツールボックスとして、または毎日使うツールをブックマークしてご活用ください。