Text-Chunker für RAG
Teile lange Dokumente für Embeddings und Retrieval-Augmented Generation in Chunks auf: nach Token- oder Zeichenzahl, mit Überlappung und an Absatz-, Satz- oder Markdown-Überschriften. Das Ergebnis ist ein JSON-Array von Chunks mit ihrer jeweiligen Größe.
Häufig gestellte Fragen
Welche Aufteilungsmodi gibt es?
„Rekursiv“ teilt an Absätzen und bei langen Absätzen zusätzlich an Sätzen. „Sätze“ hält ganze Sätze zusammen. „Überschriften“ beginnt bei Markdown-Überschriften jeweils einen neuen Abschnitt. „Feste Größe“ teilt den Text unabhängig von seiner Struktur in gleich große Teile.
Wie wird die Größe gemessen?
In Tokens mit dem Tokenizer o200k_base, den aktuelle OpenAI-Modelle verwenden, oder in Zeichen. Teile, die länger als die eingestellte Größe sind, werden am Grenzwert geteilt.
Was bewirkt die Überlappung?
Jeder Chunk wiederholt das Ende des vorherigen Chunks bis zur eingestellten Überlappungsgröße. So geht Kontext, der über eine Grenze hinweg reicht, nicht verloren. 10 % bis 20 % der Chunkgröße sind ein gängiger Wert.
Welche Chunkgröße sollte ich verwenden?
Das hängt vom Embedding-Modell und den Fragen ab. 200 bis 800 Tokens sind ein gängiger Bereich: Kleinere Chunks liefern präzise Passagen, größere enthalten mehr Kontext.
Wie sieht die Ausgabe aus?
Ein JSON-Array, in dem jeder Chunk seinen Index, seine Größe in der gewählten Einheit und seinen Text enthält – bereit zum Senden an eine Embedding-API.
Wie lang darf der Text sein?
Bis zu 2 Millionen Zeichen und höchstens 5,000 Chunks pro Durchlauf.