java - JSOUP 在 Eclipse 中抛出 url 状态 503 但 URL 在浏览器中工作正常

Question

具体而言，这与网站 amazon.com 相关。我收到他们域的 503 错误，但我可以成功解析其他域。

我正在用线

Document doc = Jsoup.connect(url).timeout(30000).get();

连接到 URL。

Answer 1

您必须设置一个用户代理:

Document doc = Jsoup.connect(url).timeout(30000).userAgent("Mozilla/17.0").get();

(或其他；最好选择浏览器用户代理)

否则你会被屏蔽。

另请参阅:Jsoup: select(div[class=rslt prod]) returns null when it shouldn't