php - 重定向爬虫

Question

我有一个在线工具可以跟踪任务和完成任务的用户。作为流程的一部分，我记录了 $_SERVER['HTTP_USER_AGENT']。然而，偶尔我会收到各种机器人和爬虫的访问。我如何在不“伤害他们的感情”的情况下轻轻地将他们重定向到其他地方？

我在想我应该构建一个包含机器人名称的数组并针对它运行每个 AGENT 信息，如果在数组中找到，则重定向。

有更好的方法吗？

Answer 1

如果尚未完成，您可以使用 robots.txt 文件摆脱大多数爬虫。 See here.然而，这并没有被严格遵守。继续爬的可以封IP。您可以在 Linux 上使用 iptables 执行此操作。示例:

iptables -A INPUT -s IP-ADDRESS -j DROP