Przejdź do treści

Dzielnik tekstu na fragmenty do RAG

Dziel długie dokumenty na fragmenty do tworzenia embeddingów i generowania wspomaganego wyszukiwaniem: według rozmiaru w tokenach lub znakach, z nakładaniem się fragmentów oraz według akapitów, zdań lub nagłówków Markdown. Wynik to tablica JSON fragmentów wraz z ich rozmiarami.

Resetuj

Najczęściej zadawane pytania

Jakie są tryby dzielenia?

Tryb rekurencyjny dzieli tekst według akapitów, a długie akapity — według zdań. Tryb zdań zachowuje całe zdania. Tryb nagłówków rozpoczyna nowe sekcje przy nagłówkach Markdown. Tryb stałego rozmiaru dzieli tekst na równe części bez względu na jego strukturę.

Jak mierzony jest rozmiar?

W tokenach, liczonych za pomocą tokenizatora o200k_base używanego przez obecne modele OpenAI, lub w znakach. Fragmenty dłuższe niż wybrany rozmiar są przycinane do limitu.

Do czego służy nakładanie?

Każdy fragment powtarza końcówkę poprzedniego, maksymalnie do wybranego rozmiaru nakładania, dzięki czemu kontekst przechodzący przez granicę fragmentu nie zostaje utracony. Często nakładanie wynosi od 10% do 20% rozmiaru fragmentu.

Jaki rozmiar fragmentu wybrać?

To zależy od modelu embeddingów i zadawanych pytań. Typowy zakres to od 200 do 800 tokenów: mniejsze fragmenty pozwalają znajdować precyzyjne fragmenty tekstu, a większe zachowują więcej kontekstu.

Jak wygląda wynik?

Tablica JSON, w której każdy fragment ma indeks, rozmiar w wybranej jednostce i tekst, gotowa do wysłania do interfejsu API embeddingów API.

Jak długi może być tekst?

Maksymalnie 2 miliony znaków i 5,000 fragmentów na jedno uruchomienie.

O OneClick Pro

OneClick Pro to bezpłatny zbiór ponad 150 narzędzi internetowych do codziennej pracy: konwertowania obrazów i jednostek, formatowania i walidowania kodu, sprawdzania domen i SEO oraz pracy z tekstem, datami i liczbami. Każde narzędzie działa bez rejestracji i subskrypcji, a wprowadzone dane służą wyłącznie do obliczenia wyniku i nigdy nie są przechowywane. Używaj go jako podręcznego zestawu narzędzi do jednorazowych zadań lub dodaj do zakładek te, z których korzystasz każdego dnia.