Lewati ke konten

Pemecah Teks untuk RAG

Bagi dokumen panjang menjadi beberapa bagian untuk embedding dan pembuatan generasi yang diperkaya dengan pengambilan (RAG): berdasarkan ukuran dalam token atau karakter, dengan tumpang tindih, serta mengikuti batas paragraf, kalimat, atau judul Markdown. Hasilnya berupa larik JSON yang berisi bagian-bagian beserta ukurannya.

Reset

Pertanyaan yang sering diajukan

Mode pemecahan apa saja yang tersedia?

Mode Recursive memecah berdasarkan paragraf, lalu berdasarkan kalimat jika paragraf terlalu panjang. Mode Sentences menjaga kalimat tetap utuh. Mode Headings memulai bagian baru pada judul Markdown. Mode Fixed memotong teks menjadi bagian-bagian berukuran sama tanpa memperhatikan strukturnya.

Bagaimana ukuran diukur?

Dalam token menggunakan tokenizer o200k_base yang dipakai oleh model OpenAI saat ini, atau dalam karakter. Bagian yang melebihi ukuran akan dipotong pada batas tersebut.

Apa fungsi tumpang tindih?

Setiap bagian mengulang bagian akhir dari bagian sebelumnya, hingga batas ukuran tumpang tindih, sehingga konteks yang melintasi batas tidak hilang. Ukuran 10% hingga 20% dari ukuran bagian adalah pilihan yang umum.

Ukuran bagian berapa yang sebaiknya saya gunakan?

Tergantung pada model embedding dan pertanyaannya. Rentang 200 hingga 800 token umum digunakan: bagian yang lebih kecil mengambil kutipan yang tepat, sedangkan bagian yang lebih besar mempertahankan lebih banyak konteks.

Seperti apa hasilnya?

Larik JSON yang setiap bagiannya memiliki indeks, ukuran dalam satuan yang dipilih, dan teks, siap dikirim ke API embedding.

Berapa panjang maksimum teks?

Hingga 2 juta karakter, dan maksimal 5,000 bagian per proses.

Tentang OneClick Pro

OneClick Pro adalah kumpulan gratis berisi lebih dari 150 alat web untuk pekerjaan sehari-hari: mengonversi gambar dan satuan, memformat dan memvalidasi kode, memeriksa domain dan SEO, serta bekerja dengan teks, tanggal, dan angka. Setiap alat dapat digunakan tanpa registrasi atau berlangganan, dan apa pun yang Anda masukkan hanya digunakan untuk menghitung hasil dan tidak pernah disimpan. Gunakan sebagai kotak alat praktis untuk tugas sesekali, atau simpan alat yang Anda gunakan setiap hari ke bookmark.