ruby - 为什么我不能从 AWS 访问这个 url，但我可以从我的本地机器访问？

Question

这是test.rb。

require 'open-uri'
require 'openssl'

OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE
puts open('https://www.ic.gc.ca/app/scr/cc/CorporationsCanada/fdrlCrpDtls.html?corpId=1056565').read

当我从我的本地机器运行这段代码时，我成功地打开并阅读了页面，打印了它的内容。

但是当我使用命令 ruby test.rb 从我的 AWS 盒子运行它时，我收到 503 错误。这只发生在过去一周。在此之前，我可以毫无问题地打开网站上的页面。

我的本​​地计算机运行 Windows 7。我的 AWS 机器运行 Linux。

这是怎么回事？

Answer 1

我猜 www.ic.gc.ca 有一些配置不允许从 AWS 访问。基于您的抓取工具直到最近才正常工作的事实，他们甚至可能检测到他们正在被抓取并设置规则将您拒之门外，从而错误地访问了所有 AWS。