Tekstin pilkkoja RAG-käyttöön
Jaa pitkät asiakirjat osiin upotuksia ja hakua hyödyntävää generointia varten: koon mukaan tokeneina tai merkkeinä, limityksellä ja kappaleen, virkkeen tai Markdown-otsikoiden rajojen mukaan. Tuloksena saat JSON-taulukon osista ja niiden koosta.
Usein kysytyt kysymykset
Mitä pilkkomistiloja on käytettävissä?
Rekursiivinen pilkkominen jakaa tekstin kappaleisiin ja pitkät kappaleet virkkeisiin. Virketilassa kokonaiset virkkeet pysyvät yhdessä. Otsikkotila aloittaa uudet osiot Markdown-otsikoista. Kiinteä tila jakaa tekstin yhtä suuriin osiin rakenteesta riippumatta.
Miten koko mitataan?
Tokeneina käyttäen o200k_base-tokenisointimenetelmää, jota nykyiset OpenAI-mallit käyttävät, tai merkkeinä. Rajaa pidemmät osat katkaistaan kokorajan kohdalta.
Mitä limitys tekee?
Kukin osa toistaa edellisen osan lopun limityksen koon sallimaan rajaan asti, jotta rajakohdan ylittävä konteksti ei katoa. Yleinen valinta on 10–20 % osan koosta.
Minkä kokoisen osan valitsen?
Se riippuu upotusmallista ja kysymyksistä. 200–800 tokenia on yleinen vaihteluväli: pienemmät osat tuottavat täsmällisempiä hakutuloksia, suuremmat säilyttävät enemmän kontekstia.
Miltä tulos näyttää?
JSON-taulukko, jossa kunkin osan indeksi, koko valitussa yksikössä ja teksti ovat valmiina lähetettäviksi upotus-APIlle.
Kuinka pitkä teksti voi olla?
Enintään 2 miljoonaa merkkiä ja korkeintaan 5,000 osaa käyttökertaa kohden.