Divisor de texto para RAG
Divida documentos longos em blocos para embeddings e geração aumentada por recuperação: por número de tokens ou caracteres, com sobreposição e com base nos limites de parágrafos, frases ou títulos Markdown. O resultado é um array JSON de blocos com seus tamanhos.
Perguntas frequentes
Quais são os modos de divisão?
O modo recursivo divide por parágrafos e, para parágrafos longos, por frases. O modo Frases mantém as frases inteiras juntas. O modo Títulos inicia novas seções nos títulos Markdown. O modo Tamanho fixo divide o texto em partes iguais, independentemente da estrutura.
Como o tamanho é medido?
Em tokens, usando o tokenizador o200k_base empregado pelos modelos OpenAI atuais, ou em caracteres. Trechos maiores que o tamanho definido são cortados no limite.
Para que serve a sobreposição?
Cada bloco repete o final do bloco anterior até o limite de sobreposição, para que o contexto que atravessa um limite não se perca. Uma escolha comum é de 10% a 20% do tamanho do bloco.
Que tamanho de bloco devo usar?
Depende do modelo de embedding e das perguntas. 200 a 800 tokens é um intervalo comum: blocos menores recuperam trechos mais precisos, enquanto blocos maiores preservam mais contexto.
Como é a saída?
Um array JSON em que cada bloco contém seu índice, seu tamanho na unidade escolhida e seu texto, pronto para ser enviado a uma API de embeddings.
Qual pode ser o tamanho do texto?
Até 2 milhões de caracteres e, no máximo, 5,000 blocos por execução.