مقسّم النصوص لـ RAG
قسّم المستندات الطويلة إلى مقاطع لاستخدامها في التضمينات والتوليد المعزّز بالاسترجاع: حسب الحجم بالرموز أو الأحرف، مع تداخل بين المقاطع، وبالاعتماد على حدود الفقرات أو الجمل أو العناوين Markdown. النتيجة مصفوفة JSON من المقاطع مع أحجامها.
الأسئلة الشائعة
ما أوضاع التقسيم المتاحة؟
يقسّم الوضع التكراري النص عند الفقرات، وعند الجمل للفقرات الطويلة. ويحافظ وضع الجمل على الجمل كاملة. ويبدأ وضع العناوين أقسامًا جديدة عند العناوين Markdown. أما الوضع الثابت فيقسّم النص إلى أجزاء متساوية بصرف النظر عن بنيته.
كيف يُقاس الحجم؟
بالرموز باستخدام أداة الترميز o200k_base التي تستخدمها نماذج OpenAI الحالية، أو بالأحرف. تُقسّم الأجزاء التي تتجاوز الحجم عند الحد المحدد.
ما فائدة التداخل؟
يكرر كل مقطع نهاية المقطع السابق، حتى حدّ حجم التداخل، حتى لا يُفقد السياق الممتد عبر الحد الفاصل. ويُعد اختيار 10% إلى 20% من حجم المقطع خيارًا شائعًا.
ما حجم المقطع الذي ينبغي استخدامه؟
يعتمد ذلك على نموذج التضمين والأسئلة. يُعد النطاق من 200 إلى 800 رمزًا شائعًا: تسترجع المقاطع الأصغر فقرات محددة، بينما تحتفظ المقاطع الأكبر بسياق أوسع.
كيف يبدو الإخراج؟
مصفوفة JSON تتضمن لكل مقطع فهرسه وحجمه بوحدة القياس المختارة ونصه، وهي جاهزة للإرسال إلى واجهة برمجة تطبيقات التضمين API.
ما الحد الأقصى لطول النص؟
حتى مليوني حرف، وبحد أقصى 5,000 مقطعًا في كل تشغيل.