java - 如何知道对我的网站的 URL 请求是来自浏览器还是来自自动化程序

Question

我的要求是知道对我的网页的请求是真实请求(通过浏览器)还是通过某些 Java 程序生成的自动请求。在哪里可以区分请求类型？

实际上我需要阻止程序生成的所有请求，从而寻找差异。

Answer 1

没有万无一失的方法可以做到这一点。对我来说最有效的解决方案是:

1. 在 Web 服务器级别实现用户代理检查(是的，这并非万无一失)。目标是阻止人们用来访问 URL 的已知/常见程序。像 libperl、httpclient 等。您应该能够从访问日志中构建这样的列表。

2. 根据您的具体情况，您可能希望也可能不希望搜索引擎蜘蛛抓取您的网站。相应地将 robots.txt 添加到您的服务器。并非所有蜘蛛/爬虫都会遵循 robots.txt 中的说明，但大多数都会这样做。

3. 使用专门的工具来检测对您网站的异常访问。类似于 https://www.cloudflare.com/它可以跟踪对您网站的所有访问，并将其与不断增长的已知和可疑机器人数据库进行匹配。

注意:我与 cloudflare 没有任何关系:)