Перейти к содержимому

Разделитель текста для RAG

Разделяйте длинные документы на фрагменты для эмбеддингов и генерации с дополненной выборкой: по размеру в токенах или символах, с перекрытием и по границам абзацев, предложений или заголовков Markdown. Результат — массив JSON с фрагментами и их размерами.

Сбросить

Часто задаваемые вопросы

Какие режимы разбиения доступны?

В режиме Recursive текст делится на абзацы, а длинные абзацы — на предложения. Режим Sentences сохраняет предложения целиком. В режиме Headings новые разделы начинаются с заголовков Markdown. Режим Fixed делит текст на фрагменты одинакового размера независимо от структуры.

Как измеряется размер?

В токенах с помощью токенизатора o200k_base, используемого в современных моделях OpenAI, или в символах. Фрагменты, превышающие заданный размер, обрезаются до этого предела.

Для чего нужно перекрытие?

Каждый фрагмент повторяет конец предыдущего в пределах заданного размера перекрытия. Так не теряется контекст, переходящий через границу. Обычно выбирают от 10% до 20% размера фрагмента.

Какой размер фрагмента выбрать?

Это зависит от модели эмбеддингов и вопросов. Обычно выбирают от 200 до 800 токенов: из небольших фрагментов извлекаются точные отрывки, а в крупных сохраняется больше контекста.

Как выглядит результат?

Массив JSON, в котором для каждого фрагмента указаны индекс, размер в выбранных единицах и текст. Он готов к отправке в API эмбеддингов API.

Какой максимальный размер текста?

До 2 миллионов символов и не более 5,000 фрагментов за один запуск.

О проекте OneClick Pro

OneClick Pro — это бесплатная коллекция из более чем 150 веб-инструментов для повседневных задач: преобразования изображений и единиц измерения, форматирования и проверки кода, проверки доменов и SEO, а также работы с текстом, датами и числами. Все инструменты доступны без регистрации и подписки, а введенные вами данные используются только для расчета результата и никогда не сохраняются. Используйте коллекцию как быстрый набор инструментов для разовых задач или добавьте в закладки те, которыми пользуетесь каждый день.