java - 在获取 Java 网站的 HTML 方面需要帮助

Question

我从 java httpurlconnection cutting off html 得到了一些代码和我用 Java 从网站获取 html 的代码几乎相同。除了一个我无法使用此代码的特定网站:

我正在尝试从该网站获取 HTML:

http://www.geni.com/genealogy/people/William-Jefferson-Blythe-Clinton/6000000001961474289

但我不断收到垃圾字符。尽管它与任何其他网站(如 http://www.google.com)配合得很好.

这是我正在使用的代码:

public static String PrintHTML(){
    URL url = null;
    try {
        url = new URL("http://www.geni.com/genealogy/people/William-Jefferson-Blythe-Clinton/6000000001961474289");
    } catch (MalformedURLException e1) {
        // TODO Auto-generated catch block
        e1.printStackTrace();
    }
    HttpURLConnection connection = null;
    try {
        connection = (HttpURLConnection) url.openConnection();
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6");
    try {
        System.out.println(connection.getResponseCode());
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    String line;
    StringBuilder builder = new StringBuilder();
    BufferedReader reader = null;
    try {
        reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    try {
        while ((line = reader.readLine()) != null) {
            builder.append(line);
            builder.append("\n"); 
        }
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    String html = builder.toString();
    System.out.println("HTML " + html);
    return html;
}

我不明白为什么它不适用于我上面提到的 URL。

我们将不胜感激。

Answer 1

无论客户端的能力如何，该站点都错误地对响应进行 gzip 压缩。通常，只要客户端支持，服务器就应该只对响应进行 gzip 压缩(通过 Accept-Encoding: gzip )。您需要使用 GZIPInputStream 解压缩它.

reader = new BufferedReader(new InputStreamReader(new GZIPInputStream(connection.getInputStream()), "UTF-8"));

请注意，我还在 InputStreamReader 构造函数中添加了正确的字符集。通常你想从 Content-Type 中提取它响应的标题。

有关更多提示，另请参阅 How to use URLConnection to fire and handle HTTP requests?如果您想要的只是从 HTML 中解析/提取信息，那么我强烈建议您使用 HTML parser喜欢 Jsoup。