ruby - 如何阻止站点中的 Watir ruby​​ gem 事件？

Question

我是一名网站管理员，我正在尝试控制浏览器操作的 Watir ruby​​ gem。

我知道很多开发人员使用 Watir 进行测试，但我也看到使用 Watir 从网站上抓取内容。

我想知道作为网站管理员，我可以检测到这样的用法吗？我还能检测到 scraper 正在使用 Watir 吗？

还有我怎样才能停止 Watir？

Answer 1

我不确定您是否可以检测到浏览器背后是否有人或 Watir 脚本访问您的网站。 Watir 驱动真正的浏览器，因此通过用户代理进行过滤无济于事。

如果您有一个可以实时监控流量的工具，您可以检测到同一 IP 的大量流量的屏幕抓取。然后您可以(暂时)阻止该 IP。

目前我想不出任何其他方法来阻止屏幕抓取。像robots.txt这样的文件只是一个约定，脚本可以忽略它。