# أداة اختبار Robots.txt

اختبر ما إذا كان بإمكان برامج زحف محركات البحث جلب صفحة وفقًا لملف robots.txt الخاص بالموقع. ينزّل المختبِر robots.txt، ويختار المجموعة المناسبة لمعرّف وكيل المستخدم الذي تحدده، مثل Googlebot أو Bingbot، ويطبّق القواعد المطابقة كما يفعل RFC 9309 وGoogle: تسود القاعدة ذات أطول تطابق، وتُفضّل Allow على Disallow عند التعادل، كما تُدعم محارف البدل * و$. ويمكنك أيضًا لصق robots.txt الخاص بك لاختبار التغييرات قبل نشرها.

## الأسئلة الشائعة

### كيف أستخدم أداة الاختبار؟

أدخل عنوان URL واحدًا أو أكثر، كل عنوان في سطر. يجب أن يكون الأول عنوان URL كاملًا حتى تعرف أداة الاختبار أي ملف robots.txt للموقع تجلبه؛ ويمكن أن تكون الأسطر التالية عناوين URL كاملة على الموقع نفسه أو مسارات مثل /admin/. اختر معرّف وكيل المستخدم ثم ابدأ الاختبار.

### كيف تُختار مجموعة القواعد المناسبة؟

تستخدم برامج الزحف المجموعة التي يطابق سطر User-agent فيها اسمها، مع تجاهل حالة الأحرف. إذا لم توجد مجموعة مطابقة تمامًا، تستخدم أداة الاختبار أطول اسم يبدأ به اسم برنامج الزحف، مثل googlebot لـ Googlebot-Image، وإلا تستخدم مجموعة *. تُدمج القواعد من المجموعات المتعددة التي تحمل الاسم نفسه.

### أي قاعدة تسود عند تطابق عدة قواعد؟

القاعدة الأكثر تحديدًا، أي التي لها أطول نمط مسار. إذا تساوى طول قاعدتي Allow وDisallow، تسود Allow. هذا هو السلوك الموضح في RFC 9309 والمستخدم في Google وBing.

### هل تُدعم محارف البدل؟

نعم. تطابق علامة النجمة أي سلسلة من الأحرف، وتثبّت علامة الدولار في النهاية القاعدة عند نهاية URL، لذا تحظر Disallow: /*.pdf$ كل URL ينتهي بـ .pdf. المطابقة حساسة لحالة الأحرف وتشمل سلسلة الاستعلام.

### هل يمكنني اختبار robots.txt قبل نشره؟

نعم. الصق محتواه في حقل robots.txt. عندها تستخدم أداة الاختبار النص الذي أدخلته بدلًا من تنزيل الملف المنشور، لذا يمكن أن يكون السطر الأول مسارًا أيضًا.

### ماذا لو لم يكن للموقع ملف robots.txt؟

إذا أعاد robots.txt حالة 4xx مثل 404، فقد تتمكن برامج الزحف من جلب كل شيء، وستُظهر أداة الاختبار أن كل URL مسموح به. أما إذا أعاد خطأ 5xx، فيتعامل Google مع الموقع بأكمله على أنه محظور لبعض الوقت، وتعرض أداة الاختبار ذلك أيضًا.

### هل تمنع Disallow ظهور صفحة في نتائج البحث؟

لا. تمنع Disallow الزحف، لا الفهرسة. قد تظل الصفحة المحظورة تظهر في النتائج إذا أشارت إليها صفحات أخرى، لكن من دون وصف. استخدم وسم noindex أو ترويسة على صفحة يمكن الزحف إليها لمنع إدراجها في الفهرس.

### لماذا تم وضع علامة على Crawl-delay؟

يتجاهل Google التوجيه Crawl-delay، بينما يلتزم به Bing. يذكره الفاحص لتعرف أنه لا يبطئ Googlebot.

### هل هناك حد للحجم؟

يقرأ Google أول 500 KiB من ملف robots.txt ويتجاهل الباقي. يقرأ الفاحص المقدار نفسه ويحذّر عندما يكون الملف أطول.

### كم عدد عناوين URL التي يمكنني اختبارها؟

ما يصل إلى 50 في الطلب الواحد. ويُحتسب جلب robots.txt المباشر طلبًا واحدًا، ويمكن لكل زائر إجراء عدد محدود من الاختبارات في الدقيقة.

إعلانك هنا؟

[راسلنا عبر البريد الإلكتروني](mailto:hi@dennn.is?subject=%D8%A7%D9%84%D8%A5%D8%B9%D9%84%D8%A7%D9%86%20%D8%B9%D9%84%D9%89%20OneClick%20Pro)

[إعلان 433 أداة لوكلاء الذكاء الاصطناعي عبر خادم MCP واحد.](https://multitaskai.com/ar/?ref=oneclickpro)
