Разделитель текста для RAG
Разделяйте длинные документы на фрагменты для эмбеддингов и генерации с дополненной выборкой: по размеру в токенах или символах, с перекрытием и по границам абзацев, предложений или заголовков Markdown. Результат — массив JSON с фрагментами и их размерами.
Часто задаваемые вопросы
Какие режимы разбиения доступны?
В режиме Recursive текст делится на абзацы, а длинные абзацы — на предложения. Режим Sentences сохраняет предложения целиком. В режиме Headings новые разделы начинаются с заголовков Markdown. Режим Fixed делит текст на фрагменты одинакового размера независимо от структуры.
Как измеряется размер?
В токенах с помощью токенизатора o200k_base, используемого в современных моделях OpenAI, или в символах. Фрагменты, превышающие заданный размер, обрезаются до этого предела.
Для чего нужно перекрытие?
Каждый фрагмент повторяет конец предыдущего в пределах заданного размера перекрытия. Так не теряется контекст, переходящий через границу. Обычно выбирают от 10% до 20% размера фрагмента.
Какой размер фрагмента выбрать?
Это зависит от модели эмбеддингов и вопросов. Обычно выбирают от 200 до 800 токенов: из небольших фрагментов извлекаются точные отрывки, а в крупных сохраняется больше контекста.
Как выглядит результат?
Массив JSON, в котором для каждого фрагмента указаны индекс, размер в выбранных единицах и текст. Он готов к отправке в API эмбеддингов API.
Какой максимальный размер текста?
До 2 миллионов символов и не более 5,000 фрагментов за один запуск.