seo - 使用通配符禁止 robots.txt 中的特定文件夹

Question

我可以使用通配符对爬虫隐藏特定文件夹吗？

 User-agent: *
 Disallow: /system/
 Disallow: /v*

我想隐藏所有以“v”字符开头的文件夹。它会这样工作吗？

Answer 1

为此您根本不需要通配符。您的示例可以工作，但如果没有通配符，它​​也能正常工作。尾随通配符没有任何用处。

例如，这个:

Disallow: /x

表示:“阻止任何以‘/x’开头，后跟零个或多个字符的路径。”

还有这个:

Disallow: /x*

表示:“阻止任何以‘/x’开头，后跟零个或多个字符，再后跟零个或多个字符的路径。”

这是多余的，它会阻止第一个阻止的所有相同内容。唯一的实际区别是第二个版本将无法在不支持通配符的爬虫上运行。