Ugrás a tartalomhoz

Szövegdaraboló RAG-hez

Darabolja fel a hosszú dokumentumokat beágyazásokhoz és visszakereséssel bővített generáláshoz: a tokenek vagy karakterek száma alapján, átfedéssel, illetve bekezdések, mondatok vagy Markdown címsorok határainál. Az eredmény egy JSON tömb, amely a darabokat és azok méretét tartalmazza.

Visszaállítás

Gyakran ismételt kérdések

Milyen darabolási módok vannak?

A rekurzív mód bekezdések mentén darabol, a hosszú bekezdéseket pedig mondatoknál vágja el. A mondatok mód teljes mondatokat tart együtt. A címsorok mód új szakaszt kezd a Markdown címsoroknál. A rögzített mód a szerkezettől függetlenül egyenlő részekre osztja a szöveget.

Hogyan mérjük a méretet?

Tokenekben, a jelenlegi OpenAI modellek által használt o200k_base tokenizálóval, vagy karakterekben. A méretnél hosszabb részeket a megadott határnál vágja el.

Mire való az átfedés?

Minden darab megismétli az előző végét az átfedés méretéig, így a határon átnyúló szövegkörnyezet nem vész el. A darabméret 10–20%-a gyakori választás.

Mekkora darabméretet válasszak?

Ez a beágyazási modelltől és a kérdésektől függ. A 200–800 tokenes méret gyakori tartomány: a kisebb darabok pontos szövegrészeket keresnek vissza, a nagyobbak több szövegkörnyezetet őriznek meg.

Hogyan néz ki a kimenet?

Egy JSON tömb, amelyben minden darabhoz tartozik egy index, a kiválasztott mértékegység szerinti méret és maga a szöveg, így készen áll a beágyazási API számára.

Milyen hosszú lehet a szöveg?

Legfeljebb 2 millió karakter, futásonként pedig legfeljebb 5,000 darab.

A OneClick Pro névjegye

A OneClick Pro több mint 150 webes eszközből álló, ingyenes gyűjtemény a mindennapi munkához: képek és mértékegységek átalakításához, kód formázásához és ellenőrzéséhez, domainek és SEO ellenőrzéséhez, valamint szövegekkel, dátumokkal és számokkal végzett munkához. Minden eszköz regisztráció és előfizetés nélkül használható; a megadott adatokat kizárólag az eredmény kiszámításához használjuk, és soha nem tároljuk. Használja gyors eszköztárként az alkalmi feladatokhoz, vagy mentse el könyvjelzőként a mindennap használt eszközöket.