# Розділювач тексту для RAG

Розділяйте довгі документи на фрагменти для векторних подань і генерації з доповненням пошуку: за розміром у токенах або символах, із перекриттям, а також за межами абзаців, речень чи заголовків Markdown. Результат — масив JSON фрагментів із зазначенням їхнього розміру.

## Поширені запитання

### Які є режими розділення?

Рекурсивний режим спершу розділяє текст за абзацами, а довгі абзаци — за реченнями. Режим речень зберігає цілі речення разом. Режим заголовків починає нові розділи з заголовків Markdown. Фіксований режим ділить текст на однакові фрагменти незалежно від його структури.

### Як вимірюється розмір?

У токенах за допомогою токенізатора o200k_base, який використовують сучасні моделі OpenAI, або в символах. Фрагменти, довші за заданий розмір, обрізаються до встановленої межі.

### Для чого потрібне перекриття?

Кожен фрагмент повторює кінець попереднього — до заданого розміру перекриття, — тож контекст, що перетинає межу, не втрачається. Зазвичай обирають від 10% до 20% розміру фрагмента.

### Який розмір фрагмента вибрати?

Це залежить від моделі векторних подань і запитань. Зазвичай обирають від 200 до 800 токенів: менші фрагменти дають точніші уривки, а більші зберігають більше контексту.

### Який вигляд має результат?

Масив JSON, у якому для кожного фрагмента вказано його індекс, розмір в обраних одиницях і текст — усе готове для передавання в інструмент векторних подань API.

### Яка максимальна довжина тексту?

До 2 мільйонів символів і не більше ніж 5,000 фрагментів за один запуск.

Ваша реклама тут?

[Напишіть нам електронною поштою](mailto:hi@dennn.is?subject=%D0%A0%D0%B5%D0%BA%D0%BB%D0%B0%D0%BC%D0%B0%20%D0%BD%D0%B0%20OneClick%20Pro)

[Реклама 433 інструментів для ваших AI-агентів через один MCP-сервер.](https://multitaskai.com/uk/?ref=oneclickpro)
