إذا كنت لديك مدونة أو موقع علي منصة بلوجر فلابد أنك تريد أرشفة موقعك بسرعة حتي ينخفض ترتيب موقعك في أليكسا لذلك سوف أقوم بالشرح كيفية تركيب أفضل ملف robots.txt مخصص لمنصة بلوجر فالكثير من المدوينن لا يقومون بالتعديل علي هذا الملف أو إضافته إلي بلوجر لانه إذا حصل خطأ في تركيب هذا الملف سيؤدي إلي نتائج سلبية علي موقعك أو مدونتك أما إذا قمت بإتباع الخطوات الاتية سوف يؤدي إلي نتائج إيجابية لموقعك حتي يتصدر في أوائل محركات البحث.
ملف robots.txt :
Sitemap: http://www.itqanwebs.blogspot.com/sitemap.xml
User-agent: *
Disallow: /search
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.itqanwebs.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://www.itqanwebs.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000