seo - robots.txt 用于禁止 Google 不遵循特定的 URL

Question

我已将 robots.txt 包含在我的应用程序的根目录中，以便告诉 Google 机器人不遵循此 http://www.test.com/example.aspx ?id=x&date=10/12/2014 URL 或具有相同扩展名但查询字符串值不同的 URL。为此，我使用了以下代码:

User-agent: *
Disallow: 
Disallow: /example.aspx/

但是我在网站站长工具中发现谷歌仍然关注这个页面并且已经搜索了一些具有指定扩展名的 URL，这是不是查询字符串造成了问题，因为据我所知谷歌不关心查询字符串，但以防万一。我是在正确使用它还是为了完成任务还需要做其他事情。

Answer 1

你的指令是错误的:

Disallow: /example.aspx/

这会阻止目录 /example.aspx/ 中的所有 URL>

如果要阻止文件 /example.aspx 的所有 URL，请使用此指令:

Disallow: /example.aspx

您可以使用 Google 网站站长工具对其进行测试。