java - JSoup在爬取时设置代理IP

Question

我已经编写了一个使用 Jsoup 爬行整个网站的代码，并且该代码工作得非常正常。

我正在抓取的网站在我的本地(印度 IP)上访问时在页面上有不同的信息，在通过我的托管服务器(美国 IP)访问时有一些不同的信息。有什么方法可以设置代理设置，使其看起来也从服务器访问来自印度的网站。

Answer 1

JSoup 使用 java.net.HttpURLConnection类来创建网络连接。该类使用 system properties to configure proxy connections .

假设您有一个在 myproxyhost 端口 80 上运行的 HTTP/HTTPS Web 代理，您可以执行以下操作:

System.setProperty("http.proxyHost", "myproxyhost");
System.setProperty("http.proxyPort", "80");
System.setProperty("https.proxyHost", "myproxyhost");
System.setProperty("https.proxyPort", "80");

这将导致后续的 Jsoup.connect() 调用通过代理发出 HTTP/HTTPS 请求，而不是直接连接。