# Divisore di testo per RAG

Dividete i documenti lunghi in blocchi per gli embedding e la generazione aumentata dal recupero (RAG): per dimensione in token o caratteri, con sovrapposizione e in corrispondenza dei confini di paragrafi, frasi o titoli Markdown. Il risultato è un array JSON di blocchi con le rispettive dimensioni.

## Domande frequenti

### Quali modalità di suddivisione sono disponibili?

Ricorsiva suddivide prima in paragrafi e, per i paragrafi lunghi, in frasi. Frasi mantiene unite le frasi complete. Titoli avvia nuove sezioni in corrispondenza dei titoli Markdown. Dimensione fissa divide il testo in parti uguali, senza considerare la struttura.

### Come viene misurata la dimensione?

In token, usando il tokenizer o200k_base dei modelli OpenAI attuali, oppure in caratteri. Le parti più lunghe della dimensione vengono tagliate al limite.

### A cosa serve la sovrapposizione?

Ogni blocco ripete la parte finale del precedente, fino alla dimensione di sovrapposizione, così il contesto che attraversa un confine non va perso. Una scelta comune è dal 10% al 20% della dimensione del blocco.

### Quale dimensione del blocco dovrei usare?

Dipende dal modello di embedding e dalle domande. Da 200 a 800 token è un intervallo comune: i blocchi più piccoli recuperano passaggi precisi, quelli più grandi conservano più contesto.

### Che aspetto ha il risultato?

Un array JSON in cui ogni blocco ha il proprio indice, la dimensione nell'unità scelta e il testo, pronto per essere inviato a un'API di embedding.

### Quanto può essere lungo il testo?

Fino a 2 milioni di caratteri e al massimo 5,000 blocchi per esecuzione.

Il tuo annuncio qui?

[Scrivici](mailto:hi@dennn.is?subject=Pubblicit%C3%A0%20su%20OneClick%20Pro)

[Annuncio 433 strumenti per i vostri agenti IA tramite un unico server MCP.](https://multitaskai.com/it/?ref=oneclickpro)
