Pemecah Teks untuk RAG
Bagi dokumen panjang menjadi beberapa bagian untuk embedding dan pembuatan generasi yang diperkaya dengan pengambilan (RAG): berdasarkan ukuran dalam token atau karakter, dengan tumpang tindih, serta mengikuti batas paragraf, kalimat, atau judul Markdown. Hasilnya berupa larik JSON yang berisi bagian-bagian beserta ukurannya.
Pertanyaan yang sering diajukan
Mode pemecahan apa saja yang tersedia?
Mode Recursive memecah berdasarkan paragraf, lalu berdasarkan kalimat jika paragraf terlalu panjang. Mode Sentences menjaga kalimat tetap utuh. Mode Headings memulai bagian baru pada judul Markdown. Mode Fixed memotong teks menjadi bagian-bagian berukuran sama tanpa memperhatikan strukturnya.
Bagaimana ukuran diukur?
Dalam token menggunakan tokenizer o200k_base yang dipakai oleh model OpenAI saat ini, atau dalam karakter. Bagian yang melebihi ukuran akan dipotong pada batas tersebut.
Apa fungsi tumpang tindih?
Setiap bagian mengulang bagian akhir dari bagian sebelumnya, hingga batas ukuran tumpang tindih, sehingga konteks yang melintasi batas tidak hilang. Ukuran 10% hingga 20% dari ukuran bagian adalah pilihan yang umum.
Ukuran bagian berapa yang sebaiknya saya gunakan?
Tergantung pada model embedding dan pertanyaannya. Rentang 200 hingga 800 token umum digunakan: bagian yang lebih kecil mengambil kutipan yang tepat, sedangkan bagian yang lebih besar mempertahankan lebih banyak konteks.
Seperti apa hasilnya?
Larik JSON yang setiap bagiannya memiliki indeks, ukuran dalam satuan yang dipilih, dan teks, siap dikirim ke API embedding.
Berapa panjang maksimum teks?
Hingga 2 juta karakter, dan maksimal 5,000 bagian per proses.