# Text-Chunker für RAG

Teile lange Dokumente für Embeddings und Retrieval-Augmented Generation in Chunks auf: nach Token- oder Zeichenzahl, mit Überlappung und an Absatz-, Satz- oder Markdown-Überschriften. Das Ergebnis ist ein JSON-Array von Chunks mit ihrer jeweiligen Größe.

## Häufig gestellte Fragen

### Welche Aufteilungsmodi gibt es?

„Rekursiv“ teilt an Absätzen und bei langen Absätzen zusätzlich an Sätzen. „Sätze“ hält ganze Sätze zusammen. „Überschriften“ beginnt bei Markdown-Überschriften jeweils einen neuen Abschnitt. „Feste Größe“ teilt den Text unabhängig von seiner Struktur in gleich große Teile.

### Wie wird die Größe gemessen?

In Tokens mit dem Tokenizer o200k_base, den aktuelle OpenAI-Modelle verwenden, oder in Zeichen. Teile, die länger als die eingestellte Größe sind, werden am Grenzwert geteilt.

### Was bewirkt die Überlappung?

Jeder Chunk wiederholt das Ende des vorherigen Chunks bis zur eingestellten Überlappungsgröße. So geht Kontext, der über eine Grenze hinweg reicht, nicht verloren. 10 % bis 20 % der Chunkgröße sind ein gängiger Wert.

### Welche Chunkgröße sollte ich verwenden?

Das hängt vom Embedding-Modell und den Fragen ab. 200 bis 800 Tokens sind ein gängiger Bereich: Kleinere Chunks liefern präzise Passagen, größere enthalten mehr Kontext.

### Wie sieht die Ausgabe aus?

Ein JSON-Array, in dem jeder Chunk seinen Index, seine Größe in der gewählten Einheit und seinen Text enthält – bereit zum Senden an eine Embedding-API.

### Wie lang darf der Text sein?

Bis zu 2 Millionen Zeichen und höchstens 5,000 Chunks pro Durchlauf.

Deine Anzeige hier?

[Schreib uns eine E-Mail](mailto:hi@dennn.is?subject=Werbung%20auf%20OneClick%20Pro)

[Anzeige 433 Tools für deine KI-Agenten über einen MCP-Server.](https://multitaskai.com/de/?ref=oneclickpro)
