ruby-on-rails - craigslist 上的 HTTP GET 被阻止

Question

我正在尝试在 craigslist 上执行 HTTP GET sfbay.craigslist.org .这是我的(ruby)代码，非常简单

require 'net/http'
result = Net::HTTP.get(URI.parse('http://sfbay.craigslist.org'))

我最终收到错误“此 IP 已被自动阻止”。

只有当我在 Amazon EC2 或 heroku 上尝试此行为时才会发生此行为。当我在自己的计算机 localhost 上再次尝试时，我得到了正确的结果。这与 Amazon EC2 有关系吗？

我想知道其他人是否遇到过同样的问题。如何从 EC2 访问 craigslist？

Answer 1

我可以确认 Craigslist 通过 IP(而不是用户代理)阻止了主要的 Amazon EC2 IP 范围。它在其他地方工作，但我怀疑任何卷都会导致其他 IP 被阻止。

你可以用 tor 绕过它.更重要的是，this stackoverflow question discusses data sources used by craigslist mashups .

我什至测试了巴西 EC2，假设他们可能没有阻止所有 CIDR。没有布埃诺。