# Szövegdaraboló RAG-hez

Darabolja fel a hosszú dokumentumokat beágyazásokhoz és visszakereséssel bővített generáláshoz: a tokenek vagy karakterek száma alapján, átfedéssel, illetve bekezdések, mondatok vagy Markdown címsorok határainál. Az eredmény egy JSON tömb, amely a darabokat és azok méretét tartalmazza.

## Gyakran ismételt kérdések

### Milyen darabolási módok vannak?

A rekurzív mód bekezdések mentén darabol, a hosszú bekezdéseket pedig mondatoknál vágja el. A mondatok mód teljes mondatokat tart együtt. A címsorok mód új szakaszt kezd a Markdown címsoroknál. A rögzített mód a szerkezettől függetlenül egyenlő részekre osztja a szöveget.

### Hogyan mérjük a méretet?

Tokenekben, a jelenlegi OpenAI modellek által használt o200k_base tokenizálóval, vagy karakterekben. A méretnél hosszabb részeket a megadott határnál vágja el.

### Mire való az átfedés?

Minden darab megismétli az előző végét az átfedés méretéig, így a határon átnyúló szövegkörnyezet nem vész el. A darabméret 10–20%-a gyakori választás.

### Mekkora darabméretet válasszak?

Ez a beágyazási modelltől és a kérdésektől függ. A 200–800 tokenes méret gyakori tartomány: a kisebb darabok pontos szövegrészeket keresnek vissza, a nagyobbak több szövegkörnyezetet őriznek meg.

### Hogyan néz ki a kimenet?

Egy JSON tömb, amelyben minden darabhoz tartozik egy index, a kiválasztott mértékegység szerinti méret és maga a szöveg, így készen áll a beágyazási API számára.

### Milyen hosszú lehet a szöveg?

Legfeljebb 2 millió karakter, futásonként pedig legfeljebb 5,000 darab.

Hirdetne nálunk?

[Írjon nekünk e-mailt](mailto:hi@dennn.is?subject=Hirdet%C3%A9s%20a%20OneClick%20Pro%20oldalon)

[Hirdetés 433 eszköz AI-ügynökei számára, egyetlen MCP-szerveren keresztül.](https://multitaskai.com/hu/?ref=oneclickpro)
