# Teksta sadalītājs RAG vajadzībām

Sadaliet garus dokumentus fragmentos iegulumiem un izgūšanā balstītai ģenerēšanai: pēc tokenu vai rakstzīmju skaita, ar pārklāšanos un pa rindkopām, teikumiem vai Markdown virsrakstu robežām. Rezultāts ir JSON fragmentu masīvs ar to izmēriem.

## Bieži uzdotie jautājumi

### Kādi sadalīšanas režīmi ir pieejami?

Rekursīvais režīms sadala tekstu pa rindkopām un garas rindkopas — pa teikumiem. Teikumu režīms saglabā veselus teikumus kopā. Virsrakstu režīms sāk jaunas sadaļas pie Markdown virsrakstiem. Fiksētais režīms sadala tekstu vienāda lieluma daļās neatkarīgi no struktūras.

### Kā tiek mērīts izmērs?

Tokenos, izmantojot o200k_base tokenizatoru, ko lieto pašreizējie OpenAI modeļi, vai rakstzīmēs. Daļas, kas pārsniedz norādīto izmēru, tiek nogrieztas pie robežas.

### Kā darbojas pārklājums?

Katrs fragments atkārto iepriekšējā fragmenta beigas līdz norādītajam pārklāšanās izmēram, lai nepazustu konteksts, kas aptver robežu. Parasti izvēlas 10% līdz 20% no fragmenta izmēra.

### Kādu fragmenta izmēru izvēlēties?

Tas ir atkarīgs no iegulumu modeļa un jautājumiem. Bieži izvēlas diapazonu no 200 līdz 800 tokeniem: mazāki fragmenti ļauj izgūt precīzus teksta posmus, bet lielāki saglabā vairāk konteksta.

### Kā izskatās izvade?

JSON masīvs, kurā katram fragmentam ir indekss, izmērs izvēlētajā mērvienībā un teksts, kas ir gatavs nosūtīšanai iegulumu API.

### Cik garš var būt teksts?

Līdz 2 miljoniem rakstzīmju un ne vairāk kā 5,000 fragmentu vienā izpildē.

Jūsu reklāma šeit?

[Rakstiet mums](mailto:hi@dennn.is?subject=Rekl%C4%81ma%20vietn%C4%93%20OneClick%20Pro)

[Reklāma 433 rīki jūsu MI aģentiem, izmantojot vienu MCP serveri.](https://multitaskai.com/lv/?ref=oneclickpro)
