jsoup - 通过jsoup访问网页时获取404

Question

通过jsoup访问网页时出现404。但是当通过浏览器访问时页面加载正常。

几天前，我能够通过 jsoup 访问该页面。但现在它抛出 404。
尝试添加用户代理、超时等，但没有运气。

同样在 Firebug 中，我收到 404 请求，但页面在浏览器中加载正常。

不确定页面如何在浏览器中呈现，而不是通过 Java 程序呈现。

Document doc = Jsoup.connect("http://example.com/stock.php?"+quote).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36")
             .timeout(1000*7).get();

在执行 Java 程序时，出现以下错误:

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=http://example.com/stock.php?AAA
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:537)

如果需要更多信息，请告诉我。

Answer 1

默认 Jsoup收到 HTTP 错误时抛出异常。您可以设置 ignoreHttpErrors至 true即使页面返回错误，也可以读取页面内容。

Document doc = Jsoup
                 .connect("http://example.com/stock.php?"+quote)
                 .userAgent("...")
                 .timeout(1000*7)
                 .ignoreHttpErrors(true) 
                 .get();