googlebot - 是否可以让 fail2ban 忽略谷歌？

Question

由于我的服务器上有很多攻击尝试，我需要使用 fail2ban，我还有必须激活/创建的过滤器来阻止攻击尝试。

但现在我很确定某些 google ip 最终进入了我的 fail2ban jail ......

我在 jail.local 文件的 ignoreip 指令中添加了一些 ip，但它们只是我在 access.log 中设法识别为真实 google ip 的那些(我也有很多假 google)

如果能够给 fail2ban 忽略的 ip 列表会很好，但是 google 不会发布它的 ip 列表，google 说:https://support.google.com/webmasters/answer/80553?hl=en

所以问题是:是否可以做一个反向 dns 来了解一个 ip 是否属于 google 并告诉 fail2ban 忽略它？

可以通过 fail2ban 完成吗？你需要任何外部脚本吗？对服务员来说会不会太重、太长、太累？

Answer 1

是的，您可以使用反向 IP 查找来识别谷歌机器人。所有爬虫机器人都将以 xxxxxx.google.com 或 xxxxxxx.googlebot.com 结尾

for e.g. crawl-203-208-60-1.googlebot.com

但无法在 fail2ban 中识别，但一旦知道它是否是 Googlebot，您可以将 IP 地址列入白名单。

有很多方法可以执行反向 IP 查找。

您可以使用 Python、Ruby 或 bash 来找出答案。查看以下文章。

http://searchsignals.com/tutorials/reverse-dns-lookup/

有些网站可以通过反向 IP 查找找到您。

https://dnschecker.org/reverse-dns.php

http://reverseip.domaintools.com/

如果您可以使用 Python 编写代码，则可以轻松地将 IP 地址列表中的反向 IP 数据转储到文件中。