Перейти до вмісту

Розділювач тексту для RAG

Розділяйте довгі документи на фрагменти для векторних подань і генерації з доповненням пошуку: за розміром у токенах або символах, із перекриттям, а також за межами абзаців, речень чи заголовків Markdown. Результат — масив JSON фрагментів із зазначенням їхнього розміру.

Скинути

Поширені запитання

Які є режими розділення?

Рекурсивний режим спершу розділяє текст за абзацами, а довгі абзаци — за реченнями. Режим речень зберігає цілі речення разом. Режим заголовків починає нові розділи з заголовків Markdown. Фіксований режим ділить текст на однакові фрагменти незалежно від його структури.

Як вимірюється розмір?

У токенах за допомогою токенізатора o200k_base, який використовують сучасні моделі OpenAI, або в символах. Фрагменти, довші за заданий розмір, обрізаються до встановленої межі.

Для чого потрібне перекриття?

Кожен фрагмент повторює кінець попереднього — до заданого розміру перекриття, — тож контекст, що перетинає межу, не втрачається. Зазвичай обирають від 10% до 20% розміру фрагмента.

Який розмір фрагмента вибрати?

Це залежить від моделі векторних подань і запитань. Зазвичай обирають від 200 до 800 токенів: менші фрагменти дають точніші уривки, а більші зберігають більше контексту.

Який вигляд має результат?

Масив JSON, у якому для кожного фрагмента вказано його індекс, розмір в обраних одиницях і текст — усе готове для передавання в інструмент векторних подань API.

Яка максимальна довжина тексту?

До 2 мільйонів символів і не більше ніж 5,000 фрагментів за один запуск.

Про OneClick Pro

OneClick Pro — це безкоштовна колекція з понад 150 вебінструментів для повсякденної роботи: конвертації зображень і одиниць, форматування та перевірки коду, перевірки доменів і SEO, а також роботи з текстом, датами й числами. Кожен інструмент працює без реєстрації чи передплати, а введені вами дані використовуються лише для обчислення результату й ніколи не зберігаються. Використовуйте цю добірку як швидкий набір інструментів для разових завдань або додайте в закладки інструменти, якими користуєтеся щодня.