مشكلة في المنتدى تمنع محركات البحث من فهرسته

[أهــل الحـديث]

أهل - الحديث - حديث شريف - محمد - صلى الله عليه وسلم - قرأن كريم


السلام عليكم ورحمة الله وبركاته

ملف robots.txt الموجود على كل المواقع مسؤول عن تحديد الأشياء التي يمكن لمحركات البحث فهرستها. بالنسبة للملتقى هو موجود على هذا الرابط:
http://ahlalhdeeth.com/robots.txt
نلاحظ أنه يمنع أي محرك بحث من فهرسة الملتقى باستثناء غوغل، حتى موقع أرشيف (https://web.archive.org/web/*/http://www.ahlalhdeeth.com/vb/forumdisplay.php?f=81) أصبح ممنوعا من حفظ صفحات الملتقى، وأصبح الوصول الى ما حفظه في السنوات الاخيرة غير ممكن
اصلاح المشكلة سهل، يكفي ان نجعل هذا الملف هكذا:
كود:
User-agent: *
Allow: /