跳转到正文

RAG 文本分块器

将长文档拆分为适用于嵌入和检索增强生成的文本块:可按 token 或字符数设置大小和重叠长度,也可沿段落、句子或Markdown标题边界拆分。结果是一个JSON文本块数组,并附带各块的大小。

重置

常见问题

有哪些拆分模式?

“递归”模式按段落拆分,遇到过长段落时再按句子拆分。“句子”模式会将完整句子放在一起。“标题”模式会在Markdown标题处开始新章节。“固定大小”模式则不考虑文本结构,将文本切成等长片段。

如何衡量大小?

可按当前OpenAI模型使用的 o200k_base 分词器统计 token,也可按字符数统计。超过设定大小的片段会在限制处截断。

重叠有什么作用?

每个文本块都会重复前一个文本块末尾的内容,最多达到设定的重叠大小,这样跨越边界的上下文就不会丢失。常见的设置是文本块大小的 10% 到 20%。

应该使用多大的文本块?

这取决于嵌入模型和问题。200到800个 token 是常见范围:较小的文本块可检索到更精确的段落,较大的文本块则能保留更多上下文。

输出是什么样的?

一个JSON数组,其中每个文本块都包含索引、按所选单位计算的大小和文本,可直接发送到嵌入API。

文本长度有什么限制?

最多 200 万个字符,每次运行最多5,000个文本块。

关于 OneClick Pro

OneClick Pro 是一个免费的工具集合,包含超过 150 种网络工具,助你处理日常工作:转换图像和单位、格式化和验证代码、检查域名和 SEO,以及处理文本、日期和数字。所有工具均可免注册、免订阅使用;你输入的内容仅用于计算结果,绝不会被存储。你可以将它用作处理临时任务的快捷工具箱,也可以收藏每天都会用到的工具。