# RAG 文本分块器

将长文档拆分为适用于嵌入和检索增强生成的文本块：可按 token 或字符数设置大小和重叠长度，也可沿段落、句子或Markdown标题边界拆分。结果是一个JSON文本块数组，并附带各块的大小。

## 常见问题

### 有哪些拆分模式？

“递归”模式按段落拆分，遇到过长段落时再按句子拆分。“句子”模式会将完整句子放在一起。“标题”模式会在Markdown标题处开始新章节。“固定大小”模式则不考虑文本结构，将文本切成等长片段。

### 如何衡量大小？

可按当前OpenAI模型使用的 o200k_base 分词器统计 token，也可按字符数统计。超过设定大小的片段会在限制处截断。

### 重叠有什么作用？

每个文本块都会重复前一个文本块末尾的内容，最多达到设定的重叠大小，这样跨越边界的上下文就不会丢失。常见的设置是文本块大小的 10% 到 20%。

### 应该使用多大的文本块？

这取决于嵌入模型和问题。200到800个 token 是常见范围：较小的文本块可检索到更精确的段落，较大的文本块则能保留更多上下文。

### 输出是什么样的？

一个JSON数组，其中每个文本块都包含索引、按所选单位计算的大小和文本，可直接发送到嵌入API。

### 文本长度有什么限制？

最多 200 万个字符，每次运行最多5,000个文本块。

在这里投放广告？

[给我们发邮件](mailto:hi@dennn.is?subject=%E5%9C%A8%20OneClick%20Pro%20%E4%B8%8A%E6%8A%95%E6%94%BE%E5%B9%BF%E5%91%8A)

[广告 通过一个 MCP 服务器为你的 AI 代理提供 433 种工具。](https://multitaskai.com/zh/?ref=oneclickpro)
