Розділювач тексту для RAG
Розділяйте довгі документи на фрагменти для векторних подань і генерації з доповненням пошуку: за розміром у токенах або символах, із перекриттям, а також за межами абзаців, речень чи заголовків Markdown. Результат — масив JSON фрагментів із зазначенням їхнього розміру.
Поширені запитання
Які є режими розділення?
Рекурсивний режим спершу розділяє текст за абзацами, а довгі абзаци — за реченнями. Режим речень зберігає цілі речення разом. Режим заголовків починає нові розділи з заголовків Markdown. Фіксований режим ділить текст на однакові фрагменти незалежно від його структури.
Як вимірюється розмір?
У токенах за допомогою токенізатора o200k_base, який використовують сучасні моделі OpenAI, або в символах. Фрагменти, довші за заданий розмір, обрізаються до встановленої межі.
Для чого потрібне перекриття?
Кожен фрагмент повторює кінець попереднього — до заданого розміру перекриття, — тож контекст, що перетинає межу, не втрачається. Зазвичай обирають від 10% до 20% розміру фрагмента.
Який розмір фрагмента вибрати?
Це залежить від моделі векторних подань і запитань. Зазвичай обирають від 200 до 800 токенів: менші фрагменти дають точніші уривки, а більші зберігають більше контексту.
Який вигляд має результат?
Масив JSON, у якому для кожного фрагмента вказано його індекс, розмір в обраних одиницях і текст — усе готове для передавання в інструмент векторних подань API.
Яка максимальна довжина тексту?
До 2 мільйонів символів і не більше ніж 5,000 фрагментів за один запуск.