شكرا اخي جزاك الله كل خير
بالنسبة لملف robots.txt يجب ان انشئه واجعله مثل الامثلة التي قدمتها لي مثلا
[p]
# updated 22/05/2014
# this is the robots.txt for هنا رابط منتدى

# 22/5/2014 sitemaps:

Sitemap: هنا خريطة المنتدى

# Baiduspider
User-agent: Baiduspider
Disallow: /
</pre>

[p]
# all robots:

User-agent: *

</pre>
هنا روابط الصفحات التي يجب حجبها



هكذا انشئ الملف وشكرا على المساعدة