RAG 文本分块器
将长文档拆分为适用于嵌入和检索增强生成的文本块:可按 token 或字符数设置大小和重叠长度,也可沿段落、句子或Markdown标题边界拆分。结果是一个JSON文本块数组,并附带各块的大小。
常见问题
有哪些拆分模式?
“递归”模式按段落拆分,遇到过长段落时再按句子拆分。“句子”模式会将完整句子放在一起。“标题”模式会在Markdown标题处开始新章节。“固定大小”模式则不考虑文本结构,将文本切成等长片段。
如何衡量大小?
可按当前OpenAI模型使用的 o200k_base 分词器统计 token,也可按字符数统计。超过设定大小的片段会在限制处截断。
重叠有什么作用?
每个文本块都会重复前一个文本块末尾的内容,最多达到设定的重叠大小,这样跨越边界的上下文就不会丢失。常见的设置是文本块大小的 10% 到 20%。
应该使用多大的文本块?
这取决于嵌入模型和问题。200到800个 token 是常见范围:较小的文本块可检索到更精确的段落,较大的文本块则能保留更多上下文。
输出是什么样的?
一个JSON数组,其中每个文本块都包含索引、按所选单位计算的大小和文本,可直接发送到嵌入API。
文本长度有什么限制?
最多 200 万个字符,每次运行最多5,000个文本块。