Gå til indhold

Tekstopdeler til RAG

Opdel lange dokumenter i bidder til embeddings og retrieval-augmented generation: efter størrelse i tokens eller tegn, med overlap og ved afsnits-, sætnings- eller Markdown-overskrifter. Resultatet er et JSON-array med bidder og deres størrelser.

Nulstil

Ofte stillede spørgsmål

Hvilke opdelingstilstande findes der?

Rekursiv opdeling skærer ved afsnit og, ved lange afsnit, ved sætninger. Sætningsopdeling holder hele sætninger sammen. Overskrifter starter nye sektioner ved Markdown-overskrifter. Fast opdeling skærer teksten i lige store bidder uanset strukturen.

Hvordan måles størrelsen?

I tokens med o200k_base-tokenizeren, som bruges af aktuelle OpenAI-modeller, eller i tegn. Stykker, der er længere end størrelsen, skæres ved grænsen.

Hvad gør overlap?

Hver bid gentager slutningen af den foregående, op til overlapstørrelsen, så kontekst på tværs af en grænse ikke går tabt. 10% til 20% af bidstørrelsen er et almindeligt valg.

Hvilken størrelse på tekstbidder skal jeg bruge?

Det afhænger af embeddingmodellen og spørgsmålene. 200 til 800 tokens er et almindeligt interval: mindre bidder finder præcise passager, mens større bidder bevarer mere kontekst.

Hvordan ser outputtet ud?

Et JSON-array, hvor hver bid har sit indeks, sin størrelse i den valgte enhed og sin tekst, klar til at blive sendt til et embedding-API.

Hvor lang kan teksten være?

Op til 2 millioner tegn og højst 5,000 bidder pr. kørsel.

Om OneClick Pro

OneClick Pro er en gratis samling med mere end 150 webværktøjer til daglige opgaver: konvertering af billeder og enheder, formatering og validering af kode, opslag af domæner og SEO samt arbejde med tekst, datoer og tal. Alle værktøjer fungerer uden registrering eller abonnement, og det, du indtaster, bruges kun til at beregne resultatet og gemmes aldrig. Brug samlingen som en hurtig værktøjskasse til enkeltstående opgaver, eller bogmærk de værktøjer, du bruger hver dag.