# Teksto skaidytuvas RAG

Skaidykite ilgus dokumentus į dalis, skirtas vektoriams ir paieška papildytam generavimui: pagal žetonų arba simbolių skaičių, su persidengimu ir ties pastraipų, sakinių arba Markdown antraščių ribomis. Rezultatas – JSON dalių masyvas su jų dydžiais.

## Dažnai užduodami klausimai

### Kokie skaidymo režimai galimi?

Rekursinis režimas skaido pagal pastraipas, o ilgas pastraipas – pagal sakinius. Sakinių režimas išlaiko sakinius vientisus. Antraščių režimas pradeda naujus skyrius ties Markdown antraštėmis. Fiksuoto dydžio režimas skaido tekstą į vienodo dydžio dalis, neatsižvelgdamas į jo struktūrą.

### Kaip matuojamas dydis?

Žetonais, naudojant o200k_base žetonizatorių, kurį naudoja dabartiniai OpenAI modeliai, arba simboliais. Ilgesnės nei nustatytas dydis dalys nukerpamos ties riba.

### Ką daro persidengimas?

Kiekvienoje dalyje pakartojama ankstesnės dalies pabaiga, neviršijant persidengimo dydžio, todėl per ribą einantis kontekstas neprarandamas. Dažnai pasirenkama 10–20 % dalies dydžio persidengimo reikšmė.

### Kokį dalies dydį pasirinkti?

Tai priklauso nuo vektorių modelio ir klausimų. Dažnai pasirenkama nuo 200 iki 800 žetonų: mažesnės dalys padeda rasti tikslias ištraukas, o didesnėse išsaugoma daugiau konteksto.

### Kaip atrodo išvestis?

JSON masyvas, kuriame nurodomas kiekvienos dalies indeksas, dydis pasirinktais vienetais ir tekstas, paruoštas siųsti į vektorių API.

### Kokio ilgio gali būti tekstas?

Iki 2 milijonų simbolių, o per vieną vykdymą galima apdoroti ne daugiau kaip 5,000 dalių.

Jūsų reklama čia?

[Parašykite mums el. paštu](mailto:hi@dennn.is?subject=Reklama%20svetain%C4%97je%20OneClick%20Pro)

[Reklama 433 įrankių jūsų DI agentams per vieną MCP serverį.](https://multitaskai.com/lt/?ref=oneclickpro)
