Zum Inhalt springen

Text-Chunker für RAG

Teile lange Dokumente für Embeddings und Retrieval-Augmented Generation in Chunks auf: nach Token- oder Zeichenzahl, mit Überlappung und an Absatz-, Satz- oder Markdown-Überschriften. Das Ergebnis ist ein JSON-Array von Chunks mit ihrer jeweiligen Größe.

Zurücksetzen

Häufig gestellte Fragen

Welche Aufteilungsmodi gibt es?

„Rekursiv“ teilt an Absätzen und bei langen Absätzen zusätzlich an Sätzen. „Sätze“ hält ganze Sätze zusammen. „Überschriften“ beginnt bei Markdown-Überschriften jeweils einen neuen Abschnitt. „Feste Größe“ teilt den Text unabhängig von seiner Struktur in gleich große Teile.

Wie wird die Größe gemessen?

In Tokens mit dem Tokenizer o200k_base, den aktuelle OpenAI-Modelle verwenden, oder in Zeichen. Teile, die länger als die eingestellte Größe sind, werden am Grenzwert geteilt.

Was bewirkt die Überlappung?

Jeder Chunk wiederholt das Ende des vorherigen Chunks bis zur eingestellten Überlappungsgröße. So geht Kontext, der über eine Grenze hinweg reicht, nicht verloren. 10 % bis 20 % der Chunkgröße sind ein gängiger Wert.

Welche Chunkgröße sollte ich verwenden?

Das hängt vom Embedding-Modell und den Fragen ab. 200 bis 800 Tokens sind ein gängiger Bereich: Kleinere Chunks liefern präzise Passagen, größere enthalten mehr Kontext.

Wie sieht die Ausgabe aus?

Ein JSON-Array, in dem jeder Chunk seinen Index, seine Größe in der gewählten Einheit und seinen Text enthält – bereit zum Senden an eine Embedding-API.

Wie lang darf der Text sein?

Bis zu 2 Millionen Zeichen und höchstens 5,000 Chunks pro Durchlauf.

Über OneClick Pro

OneClick Pro ist eine kostenlose Sammlung mit mehr als 150 Webtools für die tägliche Arbeit: Bilder und Einheiten umwandeln, Code formatieren und validieren, Domains und SEO überprüfen sowie mit Texten, Terminen und Zahlen arbeiten. Jedes Tool funktioniert ohne Registrierung oder Abo. Deine Eingaben werden nur zur Berechnung des Ergebnisses verwendet und niemals gespeichert. Nutze die Sammlung als praktischen Werkzeugkasten für einzelne Aufgaben oder setze ein Lesezeichen für die Tools, die du täglich brauchst.