Dělič textu pro RAG
Rozdělte dlouhé dokumenty na části pro vkládání a generování rozšířené o vyhledávání: podle počtu tokenů nebo znaků, s překryvem a podle hranic odstavců, vět nebo nadpisů Markdown. Výsledkem je JSON pole částí včetně jejich velikostí.
Často kladené otázky
Jaké jsou režimy dělení?
Režim Rekurzivní rozděluje text podle odstavců a dlouhé odstavce dále podle vět. Režim Věty ponechává celé věty pohromadě. Režim Nadpisy začíná nové oddíly u nadpisů Markdown. Režim Pevná velikost rozděluje text na stejně velké části bez ohledu na jeho strukturu.
Jak se měří velikost?
V tokenech pomocí tokenizéru o200k_base, který používají současné modely OpenAI, nebo ve znacích. Části delší než zvolená velikost se rozdělí na tomto limitu.
K čemu slouží překrytí?
Každá část opakuje konec předchozí části, a to až do velikosti překryvu, takže se neztratí kontext přecházející přes hranici. Běžně se volí 10 % až 20 % velikosti části.
Jakou velikost části mám zvolit?
Záleží na vkládacím modelu a otázkách. Běžné rozmezí je 200 až 800 tokenů: menší části vyhledají přesnější pasáže, větší zachovají více kontextu.
Jak vypadá výstup?
JSON pole, ve kterém má každá část svůj index, velikost ve zvolené jednotce a text připravený k odeslání do vkládacího API.
Jak dlouhý může být text?
Až 2 miliony znaků a nejvýše 5,000 částí na jedno spuštění.