RAG için Metin Parçalayıcı
Uzun belgeleri gömme ve getirim destekli üretim için parçalara ayırın: token veya karakter sayısına göre, örtüşmeyle ve paragraf, cümle ya da Markdown başlık sınırlarında. Sonuç, boyutlarıyla birlikte parçalardan oluşan bir JSON dizisidir.
Sık sorulan sorular
Hangi bölme kipleri var?
Özyinelemeli kip, paragraflara; uzun paragrafları ise cümlelere göre böler. Cümleler kipi, cümleleri bir arada tutar. Başlıklar kipi, Markdown başlıklarında yeni bölümler başlatır. Sabit kip, yapıyı dikkate almadan metni eşit parçalara böler.
Boyut nasıl ölçülür?
Geçerli OpenAI modellerinin kullandığı o200k_base tokenizer'ıyla token cinsinden veya karakter cinsinden ölçülür. Boyuttan uzun parçalar sınıra göre kesilir.
Örtüşme ne işe yarar?
Her parça, sınırı aşan bağlam kaybolmasın diye önceki parçanın son kısmını örtüşme boyutuna kadar tekrarlar. Parça boyutunun %10 ila %20'si yaygın bir tercihtir.
Hangi parça boyutunu kullanmalıyım?
Bu, gömme modeline ve sorulara bağlıdır. 200 ila 800 token yaygın bir aralıktır: küçük parçalar isabetli bölümleri getirirken büyük parçalar daha fazla bağlamı korur.
Çıktı nasıl görünür?
Her parçanın dizinini, seçilen birimdeki boyutunu ve metnini içeren, bir gömme API'ine gönderilmeye hazır bir JSON dizisi.
Metin ne kadar uzun olabilir?
2 milyon karaktere ve çalıştırma başına en fazla 5,000 parçaya kadar.