أهلا وسهلا بك زائرنا الكريم في منتدى دعم PBBoard الرسمي، لكي تتمكن من المشاركة ومشاهدة جميع أقسام المنتدى وكافة الميزات ، يجب عليك إنشاء حساب جديد بالتسجيل بالضغط هنا أو تسجيل الدخول اضغط هنا إذا كنت عضواً .

رسالة جديدة من الاستضافة بخصوص زواحف محركات البحث

مشاهدة المشاركة في الموضوع بالعرض العادي

: [مجابه] رسالة جديدة من الاستضافة بخصوص زواحف محركات البحث

04-06-2013 05:14 صباحاً

Soliman

لتقليل وقت زحف عناكب البحث بعدد الثواني من خلال ملف : robots.txt الموجود بداخل مجلد منتداك

بالبحث عن :

CODE

User-agent: *<br />

وأضافة أسفلها

CODE

Crawl-delay: 120<br />

--------------------------

ولمنع زحف الربوتات التي طرحتها في ملف robots.txt ايضاً

ضع أعلى

CODE

User-agent: *<br />

هذه الأوامر

CODE

User-agent: bingbot<br />
Disallow: /<br />
User-agent: googlebot<br />
Disallow: /<br />
User-agent: baiduspider<br />
Disallow: /<br />
User-agent: msnbot<br />
Disallow: /<br />
User-agent: yandexbot<br />
Disallow: /<br />
User-agent: search.msn.com<br />
Disallow: /<br />

مواضيع تفيدك

[مجابه] ممكن شرح طريقة التحكم في وقت دخول العناكب Spiders

شرح لملف robots.txt + محتوى الملف ﻷشهر المواقع العالمية

عناكب عناكبYahoo! Slurp دمرت موقعي

ما هو ملف robots.txt ؟ كيف يتم انشاؤه ؟

الساعة الآن 04:52 PM