Към съдържанието

Разделител на текст за RAG

Разделяйте дълги документи на части за вграждания и генериране с допълнено извличане: по брой токени или знаци, с припокриване и по границите на абзаци, изречения или заглавия Markdown. Резултатът е JSON масив от части с техните размери.

Нулиране

Често задавани въпроси

Какви режими на разделяне има?

Режимът „Рекурсивно“ разделя по абзаци, а дългите абзаци — по изречения. „Изречения“ запазва целите изречения заедно. „Заглавия“ започва нови раздели при заглавия Markdown. „Фиксиран размер“ разделя текста на равни части независимо от структурата.

Как се измерва размерът?

В токени с токенизатора o200k_base, използван от съвременните модели OpenAI, или в знаци. Части, по-дълги от зададения размер, се отрязват до лимита.

Какво прави припокриването?

Всяка част повтаря края на предходната до размера на припокриването, така че контекстът, който обхваща граница, да не се губи. Обичайно се избира от 10% до 20% от размера на частта.

Какъв размер на частите да използвам?

Зависи от модела за вграждания и въпросите. Обичайният диапазон е от 200 до 800 токена: по-малките части извличат точни откъси, а по-големите запазват повече контекст.

Как изглежда резултатът?

Масив JSON, в който всяка част има индекс, размер в избраната единица и текст, готови за изпращане към API за вграждания.

Колко дълъг може да бъде текстът?

До 2 милиона знака и най-много 5,000 части за едно изпълнение.

За OneClick Pro

OneClick Pro е безплатна колекция от над 150 уеб инструмента за ежедневна работа: преобразуване на изображения и единици, форматиране и валидиране на код, проверка на домейни и SEO, както и работа с текст, дати и числа. Всеки инструмент работи без регистрация или абонамент, а въведеното от вас се използва само за изчисляване на резултата и никога не се съхранява. Използвайте го като бърз набор от инструменти за еднократни задачи или добавете в отметките инструментите, на които разчитате всеки ден.