İçeriğe geç

RAG için Metin Parçalayıcı

Uzun belgeleri gömme ve getirim destekli üretim için parçalara ayırın: token veya karakter sayısına göre, örtüşmeyle ve paragraf, cümle ya da Markdown başlık sınırlarında. Sonuç, boyutlarıyla birlikte parçalardan oluşan bir JSON dizisidir.

Sıfırla

Sık sorulan sorular

Hangi bölme kipleri var?

Özyinelemeli kip, paragraflara; uzun paragrafları ise cümlelere göre böler. Cümleler kipi, cümleleri bir arada tutar. Başlıklar kipi, Markdown başlıklarında yeni bölümler başlatır. Sabit kip, yapıyı dikkate almadan metni eşit parçalara böler.

Boyut nasıl ölçülür?

Geçerli OpenAI modellerinin kullandığı o200k_base tokenizer'ıyla token cinsinden veya karakter cinsinden ölçülür. Boyuttan uzun parçalar sınıra göre kesilir.

Örtüşme ne işe yarar?

Her parça, sınırı aşan bağlam kaybolmasın diye önceki parçanın son kısmını örtüşme boyutuna kadar tekrarlar. Parça boyutunun %10 ila %20'si yaygın bir tercihtir.

Hangi parça boyutunu kullanmalıyım?

Bu, gömme modeline ve sorulara bağlıdır. 200 ila 800 token yaygın bir aralıktır: küçük parçalar isabetli bölümleri getirirken büyük parçalar daha fazla bağlamı korur.

Çıktı nasıl görünür?

Her parçanın dizinini, seçilen birimdeki boyutunu ve metnini içeren, bir gömme API'ine gönderilmeye hazır bir JSON dizisi.

Metin ne kadar uzun olabilir?

2 milyon karaktere ve çalıştırma başına en fazla 5,000 parçaya kadar.

OneClick Pro Hakkında

OneClick Pro, günlük işler için görüntüleri ve birimleri dönüştürme, kodu biçimlendirme ve doğrulama, alan adlarını ve SEO denetleme, metin, tarihler ve sayılarla çalışma gibi işlerde kullanabileceğiniz 150'den fazla web aracından oluşan ücretsiz bir koleksiyondur. Her araç kayıt veya abonelik gerektirmeden çalışır; girdiğiniz bilgiler yalnızca sonucu hesaplamak için kullanılır ve hiçbir zaman saklanmaz. Tek seferlik işler için hızlı bir araç kutusu olarak kullanabilir veya her gün başvurduğunuz araçları yer imlerine ekleyebilirsiniz.