Preskoči na vsebino

Razdeljevalnik besedila za RAG

Razdelite dolge dokumente na dele za vdelave in generiranje z dodatnim priklicem: po velikosti v žetonih ali znakih, s prekrivanjem ter na mejah odstavkov, povedi ali naslovov Markdown. Rezultat je JSON polje delov z njihovimi velikostmi.

Ponastavi

Pogosta vprašanja

Kateri načini razdeljevanja so na voljo?

Rekurzivno razdeli besedilo po odstavkih in pri dolgih odstavkih še po povedih. Način Povedi ohrani cele povedi skupaj. Način Naslovi začne nov razdelek pri naslovih Markdown. Način Fiksno razdeli besedilo na enako velike dele ne glede na strukturo.

Kako se meri velikost?

V žetonih z uporabo tokenizatorja o200k_base, ki ga uporabljajo sedanji modeli OpenAI, ali v znakih. Kosi, daljši od določene velikosti, se odrežejo pri omejitvi.

Čemu služi prekrivanje?

Vsak del ponovi konec prejšnjega, do velikosti prekrivanja, zato se kontekst, ki sega čez mejo, ne izgubi. Običajna izbira je od 10 % do 20 % velikosti dela.

Kakšno velikost dela naj uporabim?

Odvisno je od modela za vdelave in vprašanj. 200 do 800 žetonov je običajen razpon: manjši deli prikličejo natančne odlomke, večji pa ohranijo več konteksta.

Kako je videti izhod?

Polje JSON, v katerem ima vsak del svoj indeks, velikost v izbrani enoti in besedilo, pripravljeno za pošiljanje v API za vdelave.

Kako dolgo je lahko besedilo?

Do 2 milijona znakov in največ 5,000 delov na zagon.

O spletnem mestu OneClick Pro

OneClick Pro je brezplačna zbirka z več kot 150 spletnimi orodji za vsakodnevno delo: za pretvarjanje slik in enot, oblikovanje in preverjanje kode, preverjanje domen in SEO ter delo z besedilom, datumi in števili. Vsako orodje deluje brez registracije ali naročnine, vnesene podatke pa uporabimo samo za izračun rezultata in jih nikoli ne shranimo. Zbirko lahko uporabljate kot priročen nabor orodij za posamezna opravila ali si dodate med zaznamke orodja, ki jih uporabljate vsak dan.