# Разделитель текста для RAG

Разделяйте длинные документы на фрагменты для эмбеддингов и генерации с дополненной выборкой: по размеру в токенах или символах, с перекрытием и по границам абзацев, предложений или заголовков Markdown. Результат — массив JSON с фрагментами и их размерами.

## Часто задаваемые вопросы

### Какие режимы разбиения доступны?

В режиме Recursive текст делится на абзацы, а длинные абзацы — на предложения. Режим Sentences сохраняет предложения целиком. В режиме Headings новые разделы начинаются с заголовков Markdown. Режим Fixed делит текст на фрагменты одинакового размера независимо от структуры.

### Как измеряется размер?

В токенах с помощью токенизатора o200k_base, используемого в современных моделях OpenAI, или в символах. Фрагменты, превышающие заданный размер, обрезаются до этого предела.

### Для чего нужно перекрытие?

Каждый фрагмент повторяет конец предыдущего в пределах заданного размера перекрытия. Так не теряется контекст, переходящий через границу. Обычно выбирают от 10% до 20% размера фрагмента.

### Какой размер фрагмента выбрать?

Это зависит от модели эмбеддингов и вопросов. Обычно выбирают от 200 до 800 токенов: из небольших фрагментов извлекаются точные отрывки, а в крупных сохраняется больше контекста.

### Как выглядит результат?

Массив JSON, в котором для каждого фрагмента указаны индекс, размер в выбранных единицах и текст. Он готов к отправке в API эмбеддингов API.

### Какой максимальный размер текста?

До 2 миллионов символов и не более 5,000 фрагментов за один запуск.

Ваша реклама здесь?

[Напишите нам по электронной почте](mailto:hi@dennn.is?subject=%D0%A0%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D0%B0%20%D0%BD%D0%B0%20OneClick%20Pro)

[Реклама 433 инструментов для ваших ИИ-агентов через один MCP-сервер.](https://multitaskai.com/ru/?ref=oneclickpro)
