Liigu sisu juurde

Tekstitükeldaja RAG-i jaoks

Jaga pikad dokumendid tükkideks manustuste ja otsingu abil genereerimise jaoks: tokenite või märkide arvu järgi, kattuvusega ning lõikude, lausete või Markdown pealkirjade piiridel. Tulemuseks on JSON tükkide massiiv koos nende suurustega.

Lähtesta

Korduma kippuvad küsimused

Millised tükeldamisrežiimid on saadaval?

Rekursiivne režiim tükeldab lõikude kaupa ja pikad lõigud omakorda lausete kaupa. Lausete režiim hoiab terviklikud laused koos. Pealkirjade režiim alustab uue jaotise iga Markdown pealkirja juures. Fikseeritud režiim jagab teksti võrdseteks tükkideks, struktuuri arvestamata.

Kuidas suurust mõõdetakse?

Tokenites, kasutades praegustes OpenAI mudelites kasutatavat o200k_base tokeniseerijat, või märkides. Suurusest pikemad osad lõigatakse piirini.

Mida kattuvus teeb?

Iga tükk kordab eelmise lõppu kuni kattuvuse suuruseni, nii et üle piiri ulatuv kontekst ei lähe kaotsi. Levinud valik on 10% kuni 20% tüki suurusest.

Millise tüki suuruse peaksin valima?

See sõltub manustusmudelist ja küsimustest. 200 kuni 800 tokenit on levinud vahemik: väiksemad tükid leiavad täpseid tekstikohti, suuremad säilitavad rohkem konteksti.

Milline väljund välja näeb?

JSON massiiv, kus iga tükk sisaldab oma indeksit, suurust valitud ühikus ja teksti ning on valmis manustuste API saatmiseks.

Kui pikk võib tekst olla?

Kuni 2 miljonit märki ja ühe käivitusega kõige rohkem 5,000 tükki.

Teave OneClick Pro kohta

OneClick Pro on tasuta kollektsioon, mis sisaldab üle 150 veebitööriista igapäevatööks: piltide ja ühikute teisendamiseks, koodi vormindamiseks ja valideerimiseks, domeenide ja SEO kontrollimiseks ning teksti, kuupäevade ja numbritega töötamiseks. Kõik tööriistad toimivad ilma registreerimise või tellimuseta ning sisestatut kasutatakse ainult tulemuse arvutamiseks ega salvestata kunagi. Kasutage seda kiire tööriistakastina ühekordsete ülesannete jaoks või lisage järjehoidjatesse tööriistad, mida iga päev kasutate.