Pāriet uz saturu

Teksta sadalītājs RAG vajadzībām

Sadaliet garus dokumentus fragmentos iegulumiem un izgūšanā balstītai ģenerēšanai: pēc tokenu vai rakstzīmju skaita, ar pārklāšanos un pa rindkopām, teikumiem vai Markdown virsrakstu robežām. Rezultāts ir JSON fragmentu masīvs ar to izmēriem.

Atiestatīt

Bieži uzdotie jautājumi

Kādi sadalīšanas režīmi ir pieejami?

Rekursīvais režīms sadala tekstu pa rindkopām un garas rindkopas — pa teikumiem. Teikumu režīms saglabā veselus teikumus kopā. Virsrakstu režīms sāk jaunas sadaļas pie Markdown virsrakstiem. Fiksētais režīms sadala tekstu vienāda lieluma daļās neatkarīgi no struktūras.

Kā tiek mērīts izmērs?

Tokenos, izmantojot o200k_base tokenizatoru, ko lieto pašreizējie OpenAI modeļi, vai rakstzīmēs. Daļas, kas pārsniedz norādīto izmēru, tiek nogrieztas pie robežas.

Kā darbojas pārklājums?

Katrs fragments atkārto iepriekšējā fragmenta beigas līdz norādītajam pārklāšanās izmēram, lai nepazustu konteksts, kas aptver robežu. Parasti izvēlas 10% līdz 20% no fragmenta izmēra.

Kādu fragmenta izmēru izvēlēties?

Tas ir atkarīgs no iegulumu modeļa un jautājumiem. Bieži izvēlas diapazonu no 200 līdz 800 tokeniem: mazāki fragmenti ļauj izgūt precīzus teksta posmus, bet lielāki saglabā vairāk konteksta.

Kā izskatās izvade?

JSON masīvs, kurā katram fragmentam ir indekss, izmērs izvēlētajā mērvienībā un teksts, kas ir gatavs nosūtīšanai iegulumu API.

Cik garš var būt teksts?

Līdz 2 miljoniem rakstzīmju un ne vairāk kā 5,000 fragmentu vienā izpildē.

Par OneClick Pro

OneClick Pro ir bezmaksas vairāk nekā 150 tīmekļa rīku kolekcija ikdienas darbam: attēlu un mērvienību konvertēšanai, koda formatēšanai un validēšanai, domēnu un SEO pārbaudei, kā arī darbam ar tekstu, datumiem un skaitļiem. Katru rīku var izmantot bez reģistrācijas vai abonēšanas, un ievadītie dati tiek izmantoti tikai rezultāta aprēķināšanai un nekad netiek saglabāti. Izmantojiet to kā ātru rīku kopumu atsevišķiem uzdevumiem vai pievienojiet grāmatzīmēm rīkus, ko lietojat katru dienu.