Szövegdaraboló RAG-hez
Darabolja fel a hosszú dokumentumokat beágyazásokhoz és visszakereséssel bővített generáláshoz: a tokenek vagy karakterek száma alapján, átfedéssel, illetve bekezdések, mondatok vagy Markdown címsorok határainál. Az eredmény egy JSON tömb, amely a darabokat és azok méretét tartalmazza.
Gyakran ismételt kérdések
Milyen darabolási módok vannak?
A rekurzív mód bekezdések mentén darabol, a hosszú bekezdéseket pedig mondatoknál vágja el. A mondatok mód teljes mondatokat tart együtt. A címsorok mód új szakaszt kezd a Markdown címsoroknál. A rögzített mód a szerkezettől függetlenül egyenlő részekre osztja a szöveget.
Hogyan mérjük a méretet?
Tokenekben, a jelenlegi OpenAI modellek által használt o200k_base tokenizálóval, vagy karakterekben. A méretnél hosszabb részeket a megadott határnál vágja el.
Mire való az átfedés?
Minden darab megismétli az előző végét az átfedés méretéig, így a határon átnyúló szövegkörnyezet nem vész el. A darabméret 10–20%-a gyakori választás.
Mekkora darabméretet válasszak?
Ez a beágyazási modelltől és a kérdésektől függ. A 200–800 tokenes méret gyakori tartomány: a kisebb darabok pontos szövegrészeket keresnek vissza, a nagyobbak több szövegkörnyezetet őriznek meg.
Hogyan néz ki a kimenet?
Egy JSON tömb, amelyben minden darabhoz tartozik egy index, a kiválasztott mértékegység szerinti méret és maga a szöveg, így készen áll a beágyazási API számára.
Milyen hosszú lehet a szöveg?
Legfeljebb 2 millió karakter, futásonként pedig legfeljebb 5,000 darab.