java - 为什么使用 Jsoup 连接到特定网页时会收到 404 错误？

Question

我尝试从 Metacritic 获取一些视频游戏数据，但在此网页上不断收到 404 错误:

http://www.metacritic.com/game/playstation-2/ico

连接命令非常基本:

Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.110 Safari/537.36").timeout(0).get();

在我尝试连接的 Metacritic 上数百个类似的视频游戏网页中，这是唯一一个每次都返回 404 的网页。知道为什么吗？

Answer 1

服务器返回 404。

$ curl -I http://www.metacritic.com/game/playstation-2/ico
HTTP/1.1 404 Not Found
Content-Type: text/html; charset=UTF-8
Server: Apache
X-Varnish: 868026494
Date: Tue, 10 Sep 2013 15:26:21 GMT
Connection: keep-alive

它也返回非 404 内容的事实不会影响 Jsoup；它只是查看服务器在 HTTP header 中提供的代码。

欢迎来到胡言乱语的“什么是如何运作的？!”互联网的世界。 :) 有趣的是，curl -I http://www.metacritic.com/game/playstation-2/SDKFJSDF 返回 200 OK 的 HTTP header 代码，但显示内容显示 404 的页面。我有没有提到互联网充满了垃圾？

您可以通过调用 ignoreHttpErrors(true) 来忽略这些错误在 Connection.Request 对象上。