Treci la conținut

Împărțitor de text pentru RAG

Împărțiți documentele lungi în fragmente pentru embeddings și generarea augmentată prin regăsire: după dimensiune în tokenuri sau caractere, cu suprapunere și la limitele paragrafelor, propozițiilor sau titlurilor Markdown. Rezultatul este o matrice JSON de fragmente, împreună cu dimensiunile lor.

Resetează

Întrebări frecvente

Ce moduri de împărțire există?

Modul Recursiv împarte la nivel de paragraf și, pentru paragrafele lungi, la nivel de propoziție. Modul Propoziții păstrează propozițiile întregi. Modul Titluri începe secțiuni noi la titlurile Markdown. Modul Dimensiune fixă împarte textul în fragmente egale, indiferent de structură.

Cum se măsoară dimensiunea?

În tokenuri, folosind tokenizer-ul o200k_base utilizat de modelele OpenAI actuale, sau în caractere. Fragmentele mai lungi decât dimensiunea aleasă sunt tăiate la limită.

La ce folosește suprapunerea?

Fiecare fragment repetă finalul celui anterior, până la dimensiunea suprapunerii, astfel încât contextul care se întinde peste o limită să nu se piardă. O valoare obișnuită este între 10% și 20% din dimensiunea fragmentului.

Ce dimensiune ar trebui să aibă fragmentele?

Depinde de modelul de embedding și de întrebări. 200 până la 800 de tokenuri este un interval obișnuit: fragmentele mai mici identifică pasaje precise, iar cele mai mari păstrează mai mult context.

Cum arată rezultatul?

O matrice JSON în care fiecare fragment are indicele, dimensiunea în unitatea aleasă și textul, gata de trimis către un API de embedding.

Cât de lung poate fi textul?

Până la 2 milioane de caractere și cel mult 5,000 de fragmente per rulare.

Despre OneClick Pro

OneClick Pro este o colecție gratuită de peste 150 de instrumente web pentru activitățile de zi cu zi: conversia imaginilor și unităților, formatarea și validarea codului, verificarea domeniilor și a SEO, precum și lucrul cu text, date și numere. Fiecare instrument funcționează fără înregistrare sau abonament, iar ceea ce introduceți este folosit doar pentru a calcula rezultatul și nu este stocat niciodată. Folosiți colecția ca trusă de instrumente rapidă pentru sarcini ocazionale sau salvați în marcaje instrumentele pe care le utilizați în fiecare zi.