robots.txt - 我可以使用 robots.txt 阻止某些 URL 参数吗？

Question

在您告诉我“您尝试过什么”和“自己测试”之前，我想指出 robots.txt我的站点在搜索引擎上的任何站点的更新都非常缓慢，因此，如果您能提供理论经验，将不胜感激。

例如，是否可以允许:

http://www.example.com

并阻止:

http://www.example.com/?foo=foo

我不太确定。

帮助？

Answer 1

根据 Wikipedia , “robots.txt 模式是通过简单的子字符串比较来匹配的”，并且由于 GET 字符串是一个 URL，您应该能够添加:

Disallow: /?foo=foo

或者更花哨的东西

Disallow: /*?* 

禁用所有获取字符串。星号是通配符，因此它可以匹配任何一个或多个字符。

Example of a robots.txt with dynamic urls.