ruby-on-rails - 我的脚本会发送很多请求吗？

Question

我目前有一个脚本，它通过访问一个 url 然后从网站上抓取特定信息来抓取数据。我唯一担心的是，由于大约有 30,000 个页面需要抓取，它可能会在服务器上显示为 DDoS 攻击？最重要的是，我被推荐使用 Typhoeus gem for ruby​​ 来基本上同时完成它们。所以我只是想知道这样可以吗？

Answer 1

DDoS 攻击不能由单台机器执行，因为 DDoS 意味着分布式拒绝服务。因此，在最坏的情况下，它可以被识别为 DoS 攻击，除非您使用大量线程来执行页面调用，否则这种情况不太可能发生。

您的 bot 使用的单个线程对于默认配置的 apache 甚至不是问题，因为我认为每个主机的连接数限制为 10。通过使用 1 个线程，您只会建立一个接一个的连接，因此您甚至永远不会达到一台主机的限制。普通浏览器在接收到 html 文件后，可能会默认通过下载网页资源来建立更多连接。总结一下:不，从网络服务器管理员的角度来看，您似乎不是攻击者。