php - 在 PHP 中跟踪和测试滥用客户端

Question

现在有一个主题可以采取多种方式。希望我能够在描述我的问题并开始获得建议时对其进行去混淆处理。

我正在开发一个将取代现有网站的网站。从历史上看，我们遇到的问题之一是蜘蛛机器人进入并吸收所有内容。现在我们不介意正在下载内容。事实上，我们对此感到高兴，但一些批量下载器和下载加速器已被证明与当前站点存在问题。

我正在寻找的是位于我的 php 开头的东西，它几乎首先运行。它获取页面请求的指纹(ip、引荐来源网址、请求 uri、cookie、 session ID 等)并将其传递给……某物。然后那个东西将指纹与最后一秒或三秒内的指纹进行比较。然后，它会根据一些预配置的阈值返回一条消息，说明如何处理请求。

一些阈值是:

• 用户在过去的 0.n 秒内请求了 > x 个页面。
• 用户在 < 0.n 秒内请求了同一页面。
• 用户在过去 n 秒内向表单提交了相同的数据。

所以你看我正在看一些非常紧的 window 。检测这样的事情是否可行？我可以使用某种文件或数据库数据源来完成吗？无论我用什么来存储页面加载之间的指纹，都会经历很多变化，因为大多数数据都会保留一两秒钟。我是否应该只使用解析 apache 日志的东西来检查阈值？我是否应该寻找某种外部守护进程，将数据保存在内存中一两秒钟，以便我可以从脚本中调用？ apache 中有什么东西可以处理这个问题吗？我是否只需要交给服务器人员来处理这个问题？

假设这是我可以在 PHP 或某些称为外部守护程序中执行的操作，我该如何响应超出阈值的行为？我的直觉告诉我 HTTP 响应，比如 408 或 503，但我的直觉经常是错误的。我该怎么做才能告诉客户退缩一点？某种“哇哦”页面？

Answer 1

如果您没有软件解决方案，为什么不对您的路由器/防火墙进行编程来为您处理这个问题呢？过滤掉 DOS 攻击(或类似攻击)是它的部分用途。