seo - robots.txt 配置

Question

我对这个机器人文件有一些疑问。

User-agent: *
Disallow: /administrator/
Disallow: /css/
Disallow: /func/
Disallow: /images/
Disallow: /inc/
Disallow: /js/
Disallow: /login/
Disallow: /recover/
Disallow: /Scripts/
Disallow: /store/com-handler/
Disallow: /store/img/
Disallow: /store/theme/
Disallow: /store/StoreSys.swf
Disallow: config.php

这将禁用每个文件夹中所有文件的爬虫，对吧？或者我必须在每个文件夹名称的末尾添加一个星号？

我认为应该这样做。但我不确定是否必须在 User-agent 之后添加 Allow:/ 我想这不是必需的。

这个机器人文件有什么问题吗？

PS:如果有人可以推荐本地使用的验证应用程序，我会很高兴。

谢谢。

Answer 1

如果我明白你想要什么，就这样好了。例如

/administrator/
/css/subpage

都被屏蔽了，但是

/foo 

是允许的。请注意，Allow 是一个不太受支持的扩展，旨在对抗以前的 Disallow。你可能会使用它，例如，尽管你

Disallow: /images/

您决定要允许使用特定图像。所以，

Allow: /images/ok_image

所有其他图像仍然被阻止。可以看到http://www.searchtools.com/robots/robots-txt.html了解更多信息，包括跳棋列表。