robots.txt - googlebot 会索引我的网站吗？

Question

在我的 robots.txt 文件中，我有以下行

用户代理:Googlebot-Mobile不允许:/

用户代理:GoogleBot不允许:/

站点地图:http://mydomain.com/sitemapindex.xml

我知道如果我输入前 4 行，googlebot 不会为网站编制索引，但是如果我输入最后一行 站点地图:http://mydomain.com/sitemapindex.xml 会怎么样？ ，googlebot 能否将网站编入索引？

谢谢，

Answer 1

我针对我自己的域(每个页面都有一个站点地图条目)测试了您的 robots.txt，Googlebot 和 Googlebot-Mobile 返回它们被禁止访问。

基于此 - 我会说 robots.txt 文件优先于任何站点地图。

另外，从逻辑上讲 - 如果您阻止整个域，机器人将无法访问站点地图。站点地图条目只是告诉抓取工具在哪里可以找到您的站点地图 - 而不是他们访问它的授权。

即使您允许使用站点地图，我也不认为机器人会抓取您的网站 - 站点地图的设计更多是为了告诉机器人抓取您的网站的频率，而不是允许它们抓取的内容。