Preskočiť na obsah

Delenie textu na časti pre RAG

Rozdeľte dlhé dokumenty na časti pre vkladania a generovanie s rozšírením o výsledky vyhľadávania: podľa počtu tokenov alebo znakov, s prekrytím a podľa hraníc odsekov, viet alebo nadpisov Markdown. Výsledkom je pole JSON častí s uvedenou veľkosťou.

Obnoviť

Často kladené otázky

Aké režimy delenia sú k dispozícii?

Rekurzívny režim najprv rozdeľuje text podľa odsekov a dlhé odseky potom podľa viet. Režim Vety ponecháva celé vety pokope. Režim Nadpisy začína nové sekcie pri nadpisoch Markdown. Režim Pevná veľkosť rozdelí text na rovnako veľké časti bez ohľadu na štruktúru.

Ako sa meria veľkosť?

V tokenoch pomocou tokenizéra o200k_base, ktorý používajú súčasné modely OpenAI, alebo v znakoch. Časti presahujúce zvolenú veľkosť sa skrátia na daný limit.

Na čo slúži presah?

Každá časť opakuje koniec predchádzajúcej, najviac však do veľkosti prekrytia, aby sa nestratil kontext presahujúci hranicu medzi nimi. Bežne sa volí 10 % až 20 % veľkosti časti.

Akú veľkosť časti mám zvoliť?

Závisí to od modelu na vytváranie vkladaní a otázok. Bežný rozsah je 200 až 800 tokenov: menšie časti umožňujú vyhľadať presné pasáže, väčšie zachovávajú viac kontextu.

Ako vyzerá výstup?

Pole JSON, v ktorom má každá časť svoj index, veľkosť v zvolenej jednotke a text pripravený na odoslanie do rozhrania API na vytváranie vkladaní.

Aký dlhý môže byť text?

Najviac 2 milióny znakov a 5,000 častí na jedno spustenie.

O stránke OneClick Pro

OneClick Pro je bezplatná kolekcia viac ako 150 webových nástrojov na každodennú prácu: na konverziu obrázkov a jednotiek, formátovanie a overovanie kódu, kontrolu domén a SEO, ako aj prácu s textom, dátumami a číslami. Každý nástroj funguje bez registrácie alebo predplatného a zadané údaje sa používajú iba na výpočet výsledku a nikdy sa neukladajú. Používajte ich ako rýchlu súpravu nástrojov na jednorazové úlohy alebo si uložte do záložiek nástroje, na ktoré sa spoliehate každý deň.