java - 我们网站的欺诈检测和机器人拦截器

Question

对于我们的网站，我们需要检查传入的流量是否真实，而不是来自 BOT 或任何其他欺诈。我们应该采取的最佳方法是什么？

到目前为止，我们正在做两件事:

1. 解析用户代理并确定它是否是机器人。
2. 检查来自 ip 的点击量，如果来自某个 IP 的点击量在我们阻止该 IP 的特定时间达到特定限制。

我们还能做其他事情吗？当点击来到我们的网站时，我们是否可以调用任何可用的服务来检查请求是否是欺诈？

Answer 1

您可以在网站的根目录中创建一个 Robots.txt 文件。这是一个文件，用于配置哪些机器人可以访问哪些页面以及哪些机器人不允许爬行。因此，在您的情况下，您可以轻松配置为阻止所有抓取工具，甚至包括 Google 搜索引擎。
使用此配置

User-agent: *
Disallow: / 

这个guide可能会有所帮助。