seo - Robots.txt:这个通配符规则有效吗？

Question

简单的问题。我要补充:

Disallow */*details-print/

基本上，/foo/bar/dynamic-details-print 形式的阻塞规则——本例中的 foo 和 bar 也可以是完全动态的。

我认为这很简单，但随后在 www.robotstxt.org 上出现了这条消息:

Note also that globbing and regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "User-agent: bot", "Disallow: /tmp/*" or "Disallow: *.gif".

所以我们不能那样做？搜索引擎遵守它吗？但是，有 Quora.com's robots.txt文件:

Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST

那么，谁是对的——还是我误解了 robotstxt.org 上的文字？

谢谢!

Answer 1

答案是“视情况而定”。 robotstxt.org 定义的 robots.txt“标准”是机器人应支持的最低要求。 Googlebot、MSNbot 和 Yahoo Slurp 支持一些常见的扩展，而且真的不知道其他机器人支持什么。有些人说他们支持什么，有些人不支持。

一般，您可以期望主要的搜索引擎机器人支持您编写的通配符，并且您拥有的机器人看起来可以工作。最好的办法是运行它超过 these 中的一个或多个robots.txt 验证器或使用 Google 的 Webmaster tools检查它。