# Divisor de texto para RAG

Divida documentos longos em blocos para embeddings e geração aumentada por recuperação: por número de tokens ou caracteres, com sobreposição e com base nos limites de parágrafos, frases ou títulos Markdown. O resultado é um array JSON de blocos com seus tamanhos.

## Perguntas frequentes

### Quais são os modos de divisão?

O modo recursivo divide por parágrafos e, para parágrafos longos, por frases. O modo Frases mantém as frases inteiras juntas. O modo Títulos inicia novas seções nos títulos Markdown. O modo Tamanho fixo divide o texto em partes iguais, independentemente da estrutura.

### Como o tamanho é medido?

Em tokens, usando o tokenizador o200k_base empregado pelos modelos OpenAI atuais, ou em caracteres. Trechos maiores que o tamanho definido são cortados no limite.

### Para que serve a sobreposição?

Cada bloco repete o final do bloco anterior até o limite de sobreposição, para que o contexto que atravessa um limite não se perca. Uma escolha comum é de 10% a 20% do tamanho do bloco.

### Que tamanho de bloco devo usar?

Depende do modelo de embedding e das perguntas. 200 a 800 tokens é um intervalo comum: blocos menores recuperam trechos mais precisos, enquanto blocos maiores preservam mais contexto.

### Como é a saída?

Um array JSON em que cada bloco contém seu índice, seu tamanho na unidade escolhida e seu texto, pronto para ser enviado a uma API de embeddings.

### Qual pode ser o tamanho do texto?

Até 2 milhões de caracteres e, no máximo, 5,000 blocos por execução.

Seu anúncio aqui?

[Envie-nos um e-mail](mailto:hi@dennn.is?subject=Publicidade%20em%20OneClick%20Pro)

[Anúncio 433 ferramentas para seus agentes de IA por meio de um único servidor MCP.](https://multitaskai.com/pt/?ref=oneclickpro)
