# Tekstin pilkkoja RAG-käyttöön

Jaa pitkät asiakirjat osiin upotuksia ja hakua hyödyntävää generointia varten: koon mukaan tokeneina tai merkkeinä, limityksellä ja kappaleen, virkkeen tai Markdown-otsikoiden rajojen mukaan. Tuloksena saat JSON-taulukon osista ja niiden koosta.

## Usein kysytyt kysymykset

### Mitä pilkkomistiloja on käytettävissä?

Rekursiivinen pilkkominen jakaa tekstin kappaleisiin ja pitkät kappaleet virkkeisiin. Virketilassa kokonaiset virkkeet pysyvät yhdessä. Otsikkotila aloittaa uudet osiot Markdown-otsikoista. Kiinteä tila jakaa tekstin yhtä suuriin osiin rakenteesta riippumatta.

### Miten koko mitataan?

Tokeneina käyttäen o200k_base-tokenisointimenetelmää, jota nykyiset OpenAI-mallit käyttävät, tai merkkeinä. Rajaa pidemmät osat katkaistaan kokorajan kohdalta.

### Mitä limitys tekee?

Kukin osa toistaa edellisen osan lopun limityksen koon sallimaan rajaan asti, jotta rajakohdan ylittävä konteksti ei katoa. Yleinen valinta on 10–20 % osan koosta.

### Minkä kokoisen osan valitsen?

Se riippuu upotusmallista ja kysymyksistä. 200–800 tokenia on yleinen vaihteluväli: pienemmät osat tuottavat täsmällisempiä hakutuloksia, suuremmat säilyttävät enemmän kontekstia.

### Miltä tulos näyttää?

JSON-taulukko, jossa kunkin osan indeksi, koko valitussa yksikössä ja teksti ovat valmiina lähetettäviksi upotus-APIlle.

### Kuinka pitkä teksti voi olla?

Enintään 2 miljoonaa merkkiä ja korkeintaan 5,000 osaa käyttökertaa kohden.

Mainospaikka vapaana?

[Lähetä meille sähköpostia](mailto:hi@dennn.is?subject=Mainostaminen%20palvelussa%20OneClick%20Pro)

[Mainos 433 työkalua tekoälyagenteillesi yhden MCP-palvelimen kautta.](https://multitaskai.com/fi/?ref=oneclickpro)
