# Tekstitükeldaja RAG-i jaoks

Jaga pikad dokumendid tükkideks manustuste ja otsingu abil genereerimise jaoks: tokenite või märkide arvu järgi, kattuvusega ning lõikude, lausete või Markdown pealkirjade piiridel. Tulemuseks on JSON tükkide massiiv koos nende suurustega.

## Korduma kippuvad küsimused

### Millised tükeldamisrežiimid on saadaval?

Rekursiivne režiim tükeldab lõikude kaupa ja pikad lõigud omakorda lausete kaupa. Lausete režiim hoiab terviklikud laused koos. Pealkirjade režiim alustab uue jaotise iga Markdown pealkirja juures. Fikseeritud režiim jagab teksti võrdseteks tükkideks, struktuuri arvestamata.

### Kuidas suurust mõõdetakse?

Tokenites, kasutades praegustes OpenAI mudelites kasutatavat o200k_base tokeniseerijat, või märkides. Suurusest pikemad osad lõigatakse piirini.

### Mida kattuvus teeb?

Iga tükk kordab eelmise lõppu kuni kattuvuse suuruseni, nii et üle piiri ulatuv kontekst ei lähe kaotsi. Levinud valik on 10% kuni 20% tüki suurusest.

### Millise tüki suuruse peaksin valima?

See sõltub manustusmudelist ja küsimustest. 200 kuni 800 tokenit on levinud vahemik: väiksemad tükid leiavad täpseid tekstikohti, suuremad säilitavad rohkem konteksti.

### Milline väljund välja näeb?

JSON massiiv, kus iga tükk sisaldab oma indeksit, suurust valitud ühikus ja teksti ning on valmis manustuste API saatmiseks.

### Kui pikk võib tekst olla?

Kuni 2 miljonit märki ja ühe käivitusega kõige rohkem 5,000 tükki.

Teie reklaam siin?

[Kirjutage meile](mailto:hi@dennn.is?subject=Reklaam%20OneClick%20Pro-is)

[Reklaam 433 tööriista teie tehisintellekti agentidele ühe MCP-serveri kaudu.](https://multitaskai.com/et/?ref=oneclickpro)
