# Dzielnik tekstu na fragmenty do RAG

Dziel długie dokumenty na fragmenty do tworzenia embeddingów i generowania wspomaganego wyszukiwaniem: według rozmiaru w tokenach lub znakach, z nakładaniem się fragmentów oraz według akapitów, zdań lub nagłówków Markdown. Wynik to tablica JSON fragmentów wraz z ich rozmiarami.

## Najczęściej zadawane pytania

### Jakie są tryby dzielenia?

Tryb rekurencyjny dzieli tekst według akapitów, a długie akapity — według zdań. Tryb zdań zachowuje całe zdania. Tryb nagłówków rozpoczyna nowe sekcje przy nagłówkach Markdown. Tryb stałego rozmiaru dzieli tekst na równe części bez względu na jego strukturę.

### Jak mierzony jest rozmiar?

W tokenach, liczonych za pomocą tokenizatora o200k_base używanego przez obecne modele OpenAI, lub w znakach. Fragmenty dłuższe niż wybrany rozmiar są przycinane do limitu.

### Do czego służy nakładanie?

Każdy fragment powtarza końcówkę poprzedniego, maksymalnie do wybranego rozmiaru nakładania, dzięki czemu kontekst przechodzący przez granicę fragmentu nie zostaje utracony. Często nakładanie wynosi od 10% do 20% rozmiaru fragmentu.

### Jaki rozmiar fragmentu wybrać?

To zależy od modelu embeddingów i zadawanych pytań. Typowy zakres to od 200 do 800 tokenów: mniejsze fragmenty pozwalają znajdować precyzyjne fragmenty tekstu, a większe zachowują więcej kontekstu.

### Jak wygląda wynik?

Tablica JSON, w której każdy fragment ma indeks, rozmiar w wybranej jednostce i tekst, gotowa do wysłania do interfejsu API embeddingów API.

### Jak długi może być tekst?

Maksymalnie 2 miliony znaków i 5,000 fragmentów na jedno uruchomienie.

Twoja reklama tutaj?

[Napisz do nas](mailto:hi@dennn.is?subject=Reklama%20w%20OneClick%20Pro)

[Reklama 433 narzędzi dla agentów AI przez jeden serwer MCP.](https://multitaskai.com/pl/?ref=oneclickpro)
