# Tekstverdeler voor RAG

Verdeel lange documenten in stukken voor embeddings en retrieval-augmented generation: op basis van het aantal tokens of tekens, met overlap en op de grenzen van alinea's, zinnen of Markdown koppen. Het resultaat is een JSON-array met stukken en hun lengte.

## Veelgestelde vragen

### Welke opdeelmodi zijn er?

Recursief deelt op bij alinea's en, bij lange alinea's, bij zinnen. Zinnen houdt volledige zinnen bij elkaar. Koppen begint nieuwe secties bij Markdown-koppen. Vaste grootte verdeelt de tekst in gelijke stukken, ongeacht de structuur.

### Hoe wordt de grootte gemeten?

In tokens met de o200k_base-tokenizer die door huidige OpenAI-modellen wordt gebruikt, of in tekens. Stukken die langer zijn dan de ingestelde grootte worden bij de limiet afgebroken.

### Wat doet de overlap?

Elk stuk herhaalt het einde van het vorige stuk, tot aan de ingestelde overlap, zodat context die over een grens heen loopt niet verloren gaat. 10% tot 20% van de stukgrootte is een gebruikelijke keuze.

### Welke stukgrootte moet ik gebruiken?

Dat hangt af van het embeddingmodel en de vragen. 200 tot 800 tokens is een gebruikelijk bereik: kleinere stukken halen precieze passages op, grotere stukken behouden meer context.

### Hoe ziet de uitvoer eruit?

Een JSON-array waarin elk stuk de index, de grootte in de gekozen eenheid en de tekst bevat, klaar om naar een embedding-API te sturen.

### Hoe lang mag de tekst zijn?

Maximaal 2 miljoen tekens en hoogstens 5,000 stukken per uitvoering.

Hier adverteren?

[E-mail ons](mailto:hi@dennn.is?subject=Adverteren%20op%20OneClick%20Pro)

[Advertentie 433 tools voor uw AI-agents via één MCP-server.](https://multitaskai.com/nl/?ref=oneclickpro)
