# Delenie textu na časti pre RAG

Rozdeľte dlhé dokumenty na časti pre vkladania a generovanie s rozšírením o výsledky vyhľadávania: podľa počtu tokenov alebo znakov, s prekrytím a podľa hraníc odsekov, viet alebo nadpisov Markdown. Výsledkom je pole JSON častí s uvedenou veľkosťou.

## Často kladené otázky

### Aké režimy delenia sú k dispozícii?

Rekurzívny režim najprv rozdeľuje text podľa odsekov a dlhé odseky potom podľa viet. Režim Vety ponecháva celé vety pokope. Režim Nadpisy začína nové sekcie pri nadpisoch Markdown. Režim Pevná veľkosť rozdelí text na rovnako veľké časti bez ohľadu na štruktúru.

### Ako sa meria veľkosť?

V tokenoch pomocou tokenizéra o200k_base, ktorý používajú súčasné modely OpenAI, alebo v znakoch. Časti presahujúce zvolenú veľkosť sa skrátia na daný limit.

### Na čo slúži presah?

Každá časť opakuje koniec predchádzajúcej, najviac však do veľkosti prekrytia, aby sa nestratil kontext presahujúci hranicu medzi nimi. Bežne sa volí 10 % až 20 % veľkosti časti.

### Akú veľkosť časti mám zvoliť?

Závisí to od modelu na vytváranie vkladaní a otázok. Bežný rozsah je 200 až 800 tokenov: menšie časti umožňujú vyhľadať presné pasáže, väčšie zachovávajú viac kontextu.

### Ako vyzerá výstup?

Pole JSON, v ktorom má každá časť svoj index, veľkosť v zvolenej jednotke a text pripravený na odoslanie do rozhrania API na vytváranie vkladaní.

### Aký dlhý môže byť text?

Najviac 2 milióny znakov a 5,000 častí na jedno spustenie.

Vaša reklama tu?

[Napíšte nám e-mail](mailto:hi@dennn.is?subject=Reklama%20na%20OneClick%20Pro)

[Reklama 433 nástrojov pre vašich AI agentov cez jeden server MCP.](https://multitaskai.com/sk/?ref=oneclickpro)
