انتقل إلى المحتوى

مقسّم النصوص لـ RAG

قسّم المستندات الطويلة إلى مقاطع لاستخدامها في التضمينات والتوليد المعزّز بالاسترجاع: حسب الحجم بالرموز أو الأحرف، مع تداخل بين المقاطع، وبالاعتماد على حدود الفقرات أو الجمل أو العناوين Markdown. النتيجة مصفوفة JSON من المقاطع مع أحجامها.

إعادة تعيين

الأسئلة الشائعة

ما أوضاع التقسيم المتاحة؟

يقسّم الوضع التكراري النص عند الفقرات، وعند الجمل للفقرات الطويلة. ويحافظ وضع الجمل على الجمل كاملة. ويبدأ وضع العناوين أقسامًا جديدة عند العناوين Markdown. أما الوضع الثابت فيقسّم النص إلى أجزاء متساوية بصرف النظر عن بنيته.

كيف يُقاس الحجم؟

بالرموز باستخدام أداة الترميز o200k_base التي تستخدمها نماذج OpenAI الحالية، أو بالأحرف. تُقسّم الأجزاء التي تتجاوز الحجم عند الحد المحدد.

ما فائدة التداخل؟

يكرر كل مقطع نهاية المقطع السابق، حتى حدّ حجم التداخل، حتى لا يُفقد السياق الممتد عبر الحد الفاصل. ويُعد اختيار 10% إلى 20% من حجم المقطع خيارًا شائعًا.

ما حجم المقطع الذي ينبغي استخدامه؟

يعتمد ذلك على نموذج التضمين والأسئلة. يُعد النطاق من 200 إلى 800 رمزًا شائعًا: تسترجع المقاطع الأصغر فقرات محددة، بينما تحتفظ المقاطع الأكبر بسياق أوسع.

كيف يبدو الإخراج؟

مصفوفة JSON تتضمن لكل مقطع فهرسه وحجمه بوحدة القياس المختارة ونصه، وهي جاهزة للإرسال إلى واجهة برمجة تطبيقات التضمين API.

ما الحد الأقصى لطول النص؟

حتى مليوني حرف، وبحد أقصى 5,000 مقطعًا في كل تشغيل.

نبذة عن OneClick Pro

OneClick Pro مجموعة مجانية تضم أكثر من 150 أداة ويب للمهام اليومية: تحويل الصور والوحدات، وتنسيق الأكواد والتحقق من صحتها، وفحص النطاقات وSEO، والعمل مع النصوص والتواريخ والأرقام. تعمل كل أداة دون تسجيل أو اشتراك، ولا تُستخدم البيانات التي تُدخلها إلا لحساب النتيجة ولا تُخزّن مطلقًا. استخدمها كصندوق أدوات سريع للمهام المنفردة، أو أضف الأدوات التي تعتمد عليها يوميًا إلى إشاراتك المرجعية.