Saltar al contenido

Divisor de texto para RAG

Divide documentos largos en fragmentos para embeddings y generación aumentada por recuperación: por tamaño en tokens o caracteres, con solapamiento y según los límites de párrafos, oraciones o encabezados Markdown. El resultado es un array JSON de fragmentos con sus tamaños.

Restablecer

Preguntas frecuentes

¿Qué modos de división hay?

El modo recursivo divide por párrafos y, si son largos, por oraciones. El modo de oraciones mantiene juntas las oraciones completas. El modo de encabezados inicia secciones nuevas en los encabezados Markdown. El modo de tamaño fijo divide el texto en partes iguales, sin tener en cuenta la estructura.

¿Cómo se mide el tamaño?

En tokens, con el tokenizador o200k_base que usan los modelos OpenAI actuales, o en caracteres. Los fragmentos que superan el tamaño se cortan al llegar al límite.

¿Para qué sirve la superposición?

Cada fragmento repite el final del anterior hasta alcanzar el tamaño del solapamiento, para no perder el contexto que abarca el límite entre ambos. Lo habitual es elegir entre el 10 % y el 20 % del tamaño del fragmento.

¿Qué tamaño de fragmento debería usar?

Depende del modelo de embeddings y de las preguntas. 200 a 800 tokens es un intervalo habitual: los fragmentos pequeños recuperan pasajes precisos y los grandes conservan más contexto.

¿Qué aspecto tiene el resultado?

Un array JSON en el que cada fragmento tiene su índice, su tamaño en la unidad elegida y su texto, listo para enviarlo a una API de embeddings.

¿Qué longitud puede tener el texto?

Hasta 2 millones de caracteres y un máximo de 5,000 fragmentos por ejecución.

Acerca de OneClick Pro

OneClick Pro es una colección gratuita de más de 150 herramientas web para las tareas cotidianas: convertir imágenes y unidades, dar formato y validar código, consultar dominios y SEO, y trabajar con texto, fechas y números. Todas las herramientas funcionan sin registro ni suscripción; los datos que introduce solo se utilizan para calcular el resultado y nunca se almacenan. Úsela como una caja de herramientas para tareas puntuales o añada a favoritos las que utiliza a diario.