Découpage de texte pour le RAG
Divisez les longs documents en segments pour les embeddings et la génération augmentée par récupération : par taille en jetons ou en caractères, avec chevauchement, et selon les limites des paragraphes, des phrases ou des titres Markdown. Le résultat est un tableau JSON de segments avec leur taille.
Foire aux questions
Quels modes de découpage sont disponibles ?
Le mode récursif découpe aux limites des paragraphes puis, si ceux-ci sont trop longs, aux limites des phrases. Le mode Phrases conserve les phrases entières. Le mode Titres commence de nouvelles sections aux titres Markdown. Le mode Taille fixe découpe le texte en morceaux égaux, quelle que soit sa structure.
Comment la taille est-elle mesurée ?
En jetons, avec le tokeniseur o200k_base utilisé par les modèles OpenAI actuels, ou en caractères. Les morceaux qui dépassent la taille sont coupés à la limite.
À quoi sert le chevauchement ?
Chaque segment reprend la fin du précédent, jusqu’à la taille de chevauchement, afin de ne pas perdre le contexte qui s’étend sur une limite. Une valeur de 10 % à 20 % de la taille du segment est courante.
Quelle taille de segment choisir ?
Cela dépend du modèle d’embedding et des questions. 200 à 800 jetons est une plage courante : les segments plus petits permettent de récupérer des passages précis, tandis que les plus grands conservent davantage de contexte.
À quoi ressemble le résultat ?
Un tableau JSON dans lequel chaque segment contient son index, sa taille dans l’unité choisie et son texte, prêt à être envoyé à une API d’embedding.
Quelle peut être la longueur du texte ?
Jusqu’à 2 millions de caractères et un maximum de 5,000 segments par exécution.