Pular para o conteúdo

Divisor de texto para RAG

Divida documentos longos em blocos para embeddings e geração aumentada por recuperação: por número de tokens ou caracteres, com sobreposição e com base nos limites de parágrafos, frases ou títulos Markdown. O resultado é um array JSON de blocos com seus tamanhos.

Redefinir

Perguntas frequentes

Quais são os modos de divisão?

O modo recursivo divide por parágrafos e, para parágrafos longos, por frases. O modo Frases mantém as frases inteiras juntas. O modo Títulos inicia novas seções nos títulos Markdown. O modo Tamanho fixo divide o texto em partes iguais, independentemente da estrutura.

Como o tamanho é medido?

Em tokens, usando o tokenizador o200k_base empregado pelos modelos OpenAI atuais, ou em caracteres. Trechos maiores que o tamanho definido são cortados no limite.

Para que serve a sobreposição?

Cada bloco repete o final do bloco anterior até o limite de sobreposição, para que o contexto que atravessa um limite não se perca. Uma escolha comum é de 10% a 20% do tamanho do bloco.

Que tamanho de bloco devo usar?

Depende do modelo de embedding e das perguntas. 200 a 800 tokens é um intervalo comum: blocos menores recuperam trechos mais precisos, enquanto blocos maiores preservam mais contexto.

Como é a saída?

Um array JSON em que cada bloco contém seu índice, seu tamanho na unidade escolhida e seu texto, pronto para ser enviado a uma API de embeddings.

Qual pode ser o tamanho do texto?

Até 2 milhões de caracteres e, no máximo, 5,000 blocos por execução.

Sobre OneClick Pro

OneClick Pro é uma coleção gratuita com mais de 150 ferramentas da Web para o trabalho cotidiano: converter imagens e unidades, formatar e validar código, verificar domínios e SEO, e trabalhar com textos, datas e números. Todas as ferramentas funcionam sem registro ou assinatura, e o que você digita é usado apenas para calcular o resultado e nunca é armazenado. Use o serviço como uma caixa de ferramentas para tarefas pontuais ou salve nos favoritos as ferramentas que você usa todos os dias.