Teksta sadalītājs RAG vajadzībām
Sadaliet garus dokumentus fragmentos iegulumiem un izgūšanā balstītai ģenerēšanai: pēc tokenu vai rakstzīmju skaita, ar pārklāšanos un pa rindkopām, teikumiem vai Markdown virsrakstu robežām. Rezultāts ir JSON fragmentu masīvs ar to izmēriem.
Bieži uzdotie jautājumi
Kādi sadalīšanas režīmi ir pieejami?
Rekursīvais režīms sadala tekstu pa rindkopām un garas rindkopas — pa teikumiem. Teikumu režīms saglabā veselus teikumus kopā. Virsrakstu režīms sāk jaunas sadaļas pie Markdown virsrakstiem. Fiksētais režīms sadala tekstu vienāda lieluma daļās neatkarīgi no struktūras.
Kā tiek mērīts izmērs?
Tokenos, izmantojot o200k_base tokenizatoru, ko lieto pašreizējie OpenAI modeļi, vai rakstzīmēs. Daļas, kas pārsniedz norādīto izmēru, tiek nogrieztas pie robežas.
Kā darbojas pārklājums?
Katrs fragments atkārto iepriekšējā fragmenta beigas līdz norādītajam pārklāšanās izmēram, lai nepazustu konteksts, kas aptver robežu. Parasti izvēlas 10% līdz 20% no fragmenta izmēra.
Kādu fragmenta izmēru izvēlēties?
Tas ir atkarīgs no iegulumu modeļa un jautājumiem. Bieži izvēlas diapazonu no 200 līdz 800 tokeniem: mazāki fragmenti ļauj izgūt precīzus teksta posmus, bet lielāki saglabā vairāk konteksta.
Kā izskatās izvade?
JSON masīvs, kurā katram fragmentam ir indekss, izmērs izvēlētajā mērvienībā un teksts, kas ir gatavs nosūtīšanai iegulumu API.
Cik garš var būt teksts?
Līdz 2 miljoniem rakstzīmju un ne vairāk kā 5,000 fragmentu vienā izpildē.