Teksto skaidytuvas RAG
Skaidykite ilgus dokumentus į dalis, skirtas vektoriams ir paieška papildytam generavimui: pagal žetonų arba simbolių skaičių, su persidengimu ir ties pastraipų, sakinių arba Markdown antraščių ribomis. Rezultatas – JSON dalių masyvas su jų dydžiais.
Dažnai užduodami klausimai
Kokie skaidymo režimai galimi?
Rekursinis režimas skaido pagal pastraipas, o ilgas pastraipas – pagal sakinius. Sakinių režimas išlaiko sakinius vientisus. Antraščių režimas pradeda naujus skyrius ties Markdown antraštėmis. Fiksuoto dydžio režimas skaido tekstą į vienodo dydžio dalis, neatsižvelgdamas į jo struktūrą.
Kaip matuojamas dydis?
Žetonais, naudojant o200k_base žetonizatorių, kurį naudoja dabartiniai OpenAI modeliai, arba simboliais. Ilgesnės nei nustatytas dydis dalys nukerpamos ties riba.
Ką daro persidengimas?
Kiekvienoje dalyje pakartojama ankstesnės dalies pabaiga, neviršijant persidengimo dydžio, todėl per ribą einantis kontekstas neprarandamas. Dažnai pasirenkama 10–20 % dalies dydžio persidengimo reikšmė.
Kokį dalies dydį pasirinkti?
Tai priklauso nuo vektorių modelio ir klausimų. Dažnai pasirenkama nuo 200 iki 800 žetonų: mažesnės dalys padeda rasti tikslias ištraukas, o didesnėse išsaugoma daugiau konteksto.
Kaip atrodo išvestis?
JSON masyvas, kuriame nurodomas kiekvienos dalies indeksas, dydis pasirinktais vienetais ir tekstas, paruoštas siųsti į vektorių API.
Kokio ilgio gali būti tekstas?
Iki 2 milijonų simbolių, o per vieną vykdymą galima apdoroti ne daugiau kaip 5,000 dalių.