Razdeljevalnik besedila za RAG
Razdelite dolge dokumente na dele za vdelave in generiranje z dodatnim priklicem: po velikosti v žetonih ali znakih, s prekrivanjem ter na mejah odstavkov, povedi ali naslovov Markdown. Rezultat je JSON polje delov z njihovimi velikostmi.
Pogosta vprašanja
Kateri načini razdeljevanja so na voljo?
Rekurzivno razdeli besedilo po odstavkih in pri dolgih odstavkih še po povedih. Način Povedi ohrani cele povedi skupaj. Način Naslovi začne nov razdelek pri naslovih Markdown. Način Fiksno razdeli besedilo na enako velike dele ne glede na strukturo.
Kako se meri velikost?
V žetonih z uporabo tokenizatorja o200k_base, ki ga uporabljajo sedanji modeli OpenAI, ali v znakih. Kosi, daljši od določene velikosti, se odrežejo pri omejitvi.
Čemu služi prekrivanje?
Vsak del ponovi konec prejšnjega, do velikosti prekrivanja, zato se kontekst, ki sega čez mejo, ne izgubi. Običajna izbira je od 10 % do 20 % velikosti dela.
Kakšno velikost dela naj uporabim?
Odvisno je od modela za vdelave in vprašanj. 200 do 800 žetonov je običajen razpon: manjši deli prikličejo natančne odlomke, večji pa ohranijo več konteksta.
Kako je videti izhod?
Polje JSON, v katerem ima vsak del svoj indeks, velikost v izbrani enoti in besedilo, pripravljeno za pošiljanje v API za vdelave.
Kako dolgo je lahko besedilo?
Do 2 milijona znakov in največ 5,000 delov na zagon.