Tekstopdeler til RAG
Opdel lange dokumenter i bidder til embeddings og retrieval-augmented generation: efter størrelse i tokens eller tegn, med overlap og ved afsnits-, sætnings- eller Markdown-overskrifter. Resultatet er et JSON-array med bidder og deres størrelser.
Ofte stillede spørgsmål
Hvilke opdelingstilstande findes der?
Rekursiv opdeling skærer ved afsnit og, ved lange afsnit, ved sætninger. Sætningsopdeling holder hele sætninger sammen. Overskrifter starter nye sektioner ved Markdown-overskrifter. Fast opdeling skærer teksten i lige store bidder uanset strukturen.
Hvordan måles størrelsen?
I tokens med o200k_base-tokenizeren, som bruges af aktuelle OpenAI-modeller, eller i tegn. Stykker, der er længere end størrelsen, skæres ved grænsen.
Hvad gør overlap?
Hver bid gentager slutningen af den foregående, op til overlapstørrelsen, så kontekst på tværs af en grænse ikke går tabt. 10% til 20% af bidstørrelsen er et almindeligt valg.
Hvilken størrelse på tekstbidder skal jeg bruge?
Det afhænger af embeddingmodellen og spørgsmålene. 200 til 800 tokens er et almindeligt interval: mindre bidder finder præcise passager, mens større bidder bevarer mere kontekst.
Hvordan ser outputtet ud?
Et JSON-array, hvor hver bid har sit indeks, sin størrelse i den valgte enhed og sin tekst, klar til at blive sendt til et embedding-API.
Hvor lang kan teksten være?
Op til 2 millioner tegn og højst 5,000 bidder pr. kørsel.