跳转到正文

Token 计数器

使用精确的OpenAI分词器(o200k_base 适用于 GPT-4o 及更新型号,cl100k_base 适用于 GPT-4 和 GPT-3.5)统计提示词或文档的 token 数,并查看字符数、词数以及其他模型的大致估算。可用于控制在上下文窗口范围内,并估算API费用。

重置

常见问题

什么是 token?

语言模型会将文本读取为 token,也就是分词器生成的词语片段。英语中平均一个 token 约为四个字符或四分之三个单词,但代码、数字和其他语言所需的 token 更多。

哪些分词器能精确计数?

o200k_base(GPT-4o、GPT-4.1、o1、o3、o4-mini)、cl100k_base(GPT-4、GPT-3.5 Turbo、text-embedding-3)、p50k_base 和 r50k_base(较早的 GPT-3 和Codex模型)由 js-tiktoken 计数,它是OpenAI的 tiktoken 的JavaScript移植版本。

那Claude、Gemini或 Llama 呢?

它们使用各自的分词器。此工具会按每四个字符约一个 token 提供启发式估算,对英语散文来说通常比较接近;如需精确数字,请使用服务提供商的 token 计数API。

特殊 token 也计数吗?

会。看起来像特殊 token 的文本(例如 <|endoftext|>)会按一个 token 计数,就像API处理它一样。

聊天消息会计入额外开销吗?

不会。统计结果只包含文本。聊天 API 会为角色和格式给每条消息额外添加几个 token。

我的文本会被保存吗?

不会。此次请求只进行 token 化处理。

关于 OneClick Pro

OneClick Pro 是一个免费的工具集合,包含超过 150 种网络工具,助你处理日常工作:转换图像和单位、格式化和验证代码、检查域名和 SEO,以及处理文本、日期和数字。所有工具均可免注册、免订阅使用;你输入的内容仅用于计算结果,绝不会被存储。你可以将它用作处理临时任务的快捷工具箱,也可以收藏每天都会用到的工具。