php - robots.txt 模式匹配不起作用

Question

我需要获取模式匹配规则才能获得此结果。

allow /dir/path_name.htm/something
disallow /dir/path_name/something
and disallow /dir/path_name.htm

实际上这两个不允许的是一直以来积累的错别字。这些页面永远不存在。如何阻止 Google 不再抓取它们？

我在这里测试:http://www.frobee.com/robots-txt-check/与以下，但似乎没有任何效果。

Allow: /dir/*.htm/?*
Disallow: /dir/*

出了什么问题？谢谢。

Answer 1

根据规范:

http://www.robotstxt.org/norobots-rfc.txt

不允许使用通配符 (*)。路径只是完全匹配。我的猜测是您正在使用某种形式的重写并且您不希望显示具有相同内容的多个 ulr。在这种情况下，这可能是更好的解决方案:

http://googlewebmastercentral.blogspot.de/2009/02/specify-your-canonical.html