java - 设置 java URLConnection 的用户代理

Question

我正在尝试使用 Java 和 URLConnection 来解析网页。我尝试像这样设置用户代理:

java.net.URLConnection c = url.openConnection();
c.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

但生成的用户代理是我指定的，并在末尾附加了“Java/1.5.0_19”。有没有一种方法可以真正设置用户代理而无需添加此内容？

Answer 1

仅供澄清:setRequestProperty("User-Agent", "Mozilla ...") 现在工作得很好，并且不会在结尾!至少使用 Java 1.6.30 及更高版本。

我在我的机器上使用netcat(端口监听器)监听:

$ nc -l -p 8080

它只是监听端口，因此您可以看到请求的任何内容，例如原始 http header 。

并且在没有 setRequestProperty 的情况下获得了以下 http header :

GET /foobar HTTP/1.1
User-Agent: Java/1.6.0_30
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

并使用 setRequestProperty:

GET /foobar HTTP/1.1
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

如您所见，用户代理已正确设置。

完整示例:

import java.io.IOException;
import java.net.URL;
import java.net.URLConnection;


public class TestUrlOpener {

    public static void main(String[] args) throws IOException {
        URL url = new URL("http://localhost:8080/foobar");
        URLConnection hc = url.openConnection();
        hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

        System.out.println(hc.getContentType());
    }

}