Přejít k obsahu

Dělič textu pro RAG

Rozdělte dlouhé dokumenty na části pro vkládání a generování rozšířené o vyhledávání: podle počtu tokenů nebo znaků, s překryvem a podle hranic odstavců, vět nebo nadpisů Markdown. Výsledkem je JSON pole částí včetně jejich velikostí.

Obnovit

Často kladené otázky

Jaké jsou režimy dělení?

Režim Rekurzivní rozděluje text podle odstavců a dlouhé odstavce dále podle vět. Režim Věty ponechává celé věty pohromadě. Režim Nadpisy začíná nové oddíly u nadpisů Markdown. Režim Pevná velikost rozděluje text na stejně velké části bez ohledu na jeho strukturu.

Jak se měří velikost?

V tokenech pomocí tokenizéru o200k_base, který používají současné modely OpenAI, nebo ve znacích. Části delší než zvolená velikost se rozdělí na tomto limitu.

K čemu slouží překrytí?

Každá část opakuje konec předchozí části, a to až do velikosti překryvu, takže se neztratí kontext přecházející přes hranici. Běžně se volí 10 % až 20 % velikosti části.

Jakou velikost části mám zvolit?

Záleží na vkládacím modelu a otázkách. Běžné rozmezí je 200 až 800 tokenů: menší části vyhledají přesnější pasáže, větší zachovají více kontextu.

Jak vypadá výstup?

JSON pole, ve kterém má každá část svůj index, velikost ve zvolené jednotce a text připravený k odeslání do vkládacího API.

Jak dlouhý může být text?

Až 2 miliony znaků a nejvýše 5,000 částí na jedno spuštění.

O OneClick Pro

OneClick Pro je bezplatná kolekce více než 150 webových nástrojů pro každodenní práci: převod obrázků a jednotek, formátování a ověřování kódu, kontrolu domén a SEO i práci s textem, daty a čísly. Každý nástroj funguje bez registrace či předplatného a zadané údaje se používají pouze k výpočtu výsledku a nikdy se neukládají. Používejte ji jako rychlou sadu nástrojů pro jednorázové úkoly nebo si uložte do záložek nástroje, na které se každý den spoléháte.