Împărțitor de text pentru RAG
Împărțiți documentele lungi în fragmente pentru embeddings și generarea augmentată prin regăsire: după dimensiune în tokenuri sau caractere, cu suprapunere și la limitele paragrafelor, propozițiilor sau titlurilor Markdown. Rezultatul este o matrice JSON de fragmente, împreună cu dimensiunile lor.
Întrebări frecvente
Ce moduri de împărțire există?
Modul Recursiv împarte la nivel de paragraf și, pentru paragrafele lungi, la nivel de propoziție. Modul Propoziții păstrează propozițiile întregi. Modul Titluri începe secțiuni noi la titlurile Markdown. Modul Dimensiune fixă împarte textul în fragmente egale, indiferent de structură.
Cum se măsoară dimensiunea?
În tokenuri, folosind tokenizer-ul o200k_base utilizat de modelele OpenAI actuale, sau în caractere. Fragmentele mai lungi decât dimensiunea aleasă sunt tăiate la limită.
La ce folosește suprapunerea?
Fiecare fragment repetă finalul celui anterior, până la dimensiunea suprapunerii, astfel încât contextul care se întinde peste o limită să nu se piardă. O valoare obișnuită este între 10% și 20% din dimensiunea fragmentului.
Ce dimensiune ar trebui să aibă fragmentele?
Depinde de modelul de embedding și de întrebări. 200 până la 800 de tokenuri este un interval obișnuit: fragmentele mai mici identifică pasaje precise, iar cele mai mari păstrează mai mult context.
Cum arată rezultatul?
O matrice JSON în care fiecare fragment are indicele, dimensiunea în unitatea aleasă și textul, gata de trimis către un API de embedding.
Cât de lung poate fi textul?
Până la 2 milioane de caractere și cel mult 5,000 de fragmente per rulare.