# Tekstopdeler til RAG

Opdel lange dokumenter i bidder til embeddings og retrieval-augmented generation: efter størrelse i tokens eller tegn, med overlap og ved afsnits-, sætnings- eller Markdown-overskrifter. Resultatet er et JSON-array med bidder og deres størrelser.

## Ofte stillede spørgsmål

### Hvilke opdelingstilstande findes der?

Rekursiv opdeling skærer ved afsnit og, ved lange afsnit, ved sætninger. Sætningsopdeling holder hele sætninger sammen. Overskrifter starter nye sektioner ved Markdown-overskrifter. Fast opdeling skærer teksten i lige store bidder uanset strukturen.

### Hvordan måles størrelsen?

I tokens med o200k_base-tokenizeren, som bruges af aktuelle OpenAI-modeller, eller i tegn. Stykker, der er længere end størrelsen, skæres ved grænsen.

### Hvad gør overlap?

Hver bid gentager slutningen af den foregående, op til overlapstørrelsen, så kontekst på tværs af en grænse ikke går tabt. 10% til 20% af bidstørrelsen er et almindeligt valg.

### Hvilken størrelse på tekstbidder skal jeg bruge?

Det afhænger af embeddingmodellen og spørgsmålene. 200 til 800 tokens er et almindeligt interval: mindre bidder finder præcise passager, mens større bidder bevarer mere kontekst.

### Hvordan ser outputtet ud?

Et JSON-array, hvor hver bid har sit indeks, sin størrelse i den valgte enhed og sin tekst, klar til at blive sendt til et embedding-API.

### Hvor lang kan teksten være?

Op til 2 millioner tegn og højst 5,000 bidder pr. kørsel.

Din annonce her?

[Send os en e-mail](mailto:hi@dennn.is?subject=Annoncering%20p%C3%A5%20OneClick%20Pro)

[Annonce 433 værktøjer til dine AI-agenter via én MCP-server.](https://multitaskai.com/da/?ref=oneclickpro)
