url - 我应该在 robots.txt 中包含移动网站 URL 吗？

Question

我的老板让我研究各种改进我们网站 SEO 的方法，我一直在对此进行一些研究。我知道搜索引擎喜欢适合移动设备的网站，我使用了 Google 的网站管理员工具，发现它认为我们的网站适合移动设备。但是，我们缺少足够的 robots.txt 文件。

我们想要做的是避免同一页面被索引两次(桌面版和移动版)，他建议我在 robots.txt 文件中包含我们网站的移动 URL。但是，这样做会损害我们网站的排名吗？我了解到 robots.txt 下列出的文件不应该被编入索引，这引起了人们对人们在手机上搜索我们网站时是否能够看到我们网站的结果的担忧。

Answer 1

虽然我不建议为移动/常规网站设置两个不同的文件或 URL，但正如官方 google 博客所建议的那样:

Sites that use responsive web design, i.e. sites that serve all devices on the same set of URLs, with each URL serving the same HTML to all devices and using just CSS to change how the page is rendered on the device. This is Google’s recommended configuration.

http://googlewebmastercentral.blogspot.ca/2012/06/recommendations-for-building-smartphone.html

话虽如此，由于您已经拥有移动版本并且想要阻止 google bot 索引同一 URL 的多个版本:

从桌面站点阻止 Googlebot-Mobile

Desktop site: http://www.domain.com/robots.txt

    User-agent: Googlebot
    User-agent: Slurp
    User-agent: bingbot
    Allow: /

    User-agent: Googlebot-Mobile
    User-Agent: YahooSeeker/M1A1-R2D2
    User-Agent: MSNBOT_Mobile
    Disallow: /

Mobile site: http://m.domain.com/robots.txt

    User-agent: Googlebot
    User-agent: Slurp
    User-agent: bingbot
    Disallow: /

    User-agent: Googlebot-Mobile
    User-Agent: YahooSeeker/M1A1-R2D2
    User-Agent: MSNBOT_Mobile
    Allow: /

http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088