Ga naar de inhoud

Tekstverdeler voor RAG

Verdeel lange documenten in stukken voor embeddings en retrieval-augmented generation: op basis van het aantal tokens of tekens, met overlap en op de grenzen van alinea's, zinnen of Markdown koppen. Het resultaat is een JSON-array met stukken en hun lengte.

Resetten

Veelgestelde vragen

Welke opdeelmodi zijn er?

Recursief deelt op bij alinea's en, bij lange alinea's, bij zinnen. Zinnen houdt volledige zinnen bij elkaar. Koppen begint nieuwe secties bij Markdown-koppen. Vaste grootte verdeelt de tekst in gelijke stukken, ongeacht de structuur.

Hoe wordt de grootte gemeten?

In tokens met de o200k_base-tokenizer die door huidige OpenAI-modellen wordt gebruikt, of in tekens. Stukken die langer zijn dan de ingestelde grootte worden bij de limiet afgebroken.

Wat doet de overlap?

Elk stuk herhaalt het einde van het vorige stuk, tot aan de ingestelde overlap, zodat context die over een grens heen loopt niet verloren gaat. 10% tot 20% van de stukgrootte is een gebruikelijke keuze.

Welke stukgrootte moet ik gebruiken?

Dat hangt af van het embeddingmodel en de vragen. 200 tot 800 tokens is een gebruikelijk bereik: kleinere stukken halen precieze passages op, grotere stukken behouden meer context.

Hoe ziet de uitvoer eruit?

Een JSON-array waarin elk stuk de index, de grootte in de gekozen eenheid en de tekst bevat, klaar om naar een embedding-API te sturen.

Hoe lang mag de tekst zijn?

Maximaal 2 miljoen tekens en hoogstens 5,000 stukken per uitvoering.

Over OneClick Pro

OneClick Pro is een gratis verzameling van meer dan 150 webtools voor dagelijks werk: afbeeldingen en eenheden converteren, code opmaken en valideren, domeinen en SEO controleren, en werken met tekst, datums en getallen. Elke tool werkt zonder registratie of abonnement. Wat u invoert, wordt alleen gebruikt om uw resultaat te berekenen en wordt nooit opgeslagen. Gebruik de verzameling als snelle gereedschapskist voor eenmalige taken of maak een bladwijzer van de tools die u dagelijks gebruikt.