مثال على ملف robots.txt المستخدم في المنتدى الرسمي 
https://pbboard.info/robots.txt

وفيما يخص فهرسة قوقل انا لي فترة احاول افهم خوارزمياته الجديدة وقد تم تطبيقها لكن لازال هناك امور غير منطيقية بطريقة الفهرسة حتى اعادة الفهرسة لديهم بطيئة مؤخراً.
ولا اعلم حقيقة لماذا احياناً يتجنب قهرسه الوصف الموجود في الصفحة ويختار اوصاف أخرى من اماكن اخرى في نفس الصفحة 
نأمل انا يفيدنا احد المختصين في الـ SEO ب يجب تعديله ان كان هناك امر جديد غفلنا عنه.