.htaccess - 使用 htaccess 阻止特殊目录的所有机器人/爬虫/蜘蛛

Question

我正在尝试阻止特殊目录的所有机器人/爬虫/蜘蛛程序。我如何使用 htaccess 做到这一点？我搜索了一下，找到了基于用户代理的阻塞解决方案:

RewriteCond %{HTTP_USER_AGENT} googlebot

现在我需要更多的用户代理(对于所有已知的机器人)并且该规则应该只对我的单独目录有效。我已经有一个 robots.txt 但不是所有的爬虫都会看它......通过 IP 地址阻止不是一个选项。或者还有其他解决方案吗？我知道密码保护，但我必须先问这是否是一个选项。尽管如此，我还是在寻找基于用户代理的解决方案。

Answer 1

您需要启用 mod_rewrite。将它放在该文件夹中的 .htaccess 中。如果放置在其他地方(例如父文件夹)，则需要稍微修改 RewriteRule 模式以包含该文件夹名称)。

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]

1. 我只输入了几个机器人——您可以自己添加任何其他机器人(字母大小写无关紧要)。
2. 对于此类请求，此规则将以“403 Access Forbidden”结果代码作为响应。如果您确实需要，您可以更改为另一个响应 HTTP 代码(考虑到您的要求，403 在这里最合适)。