java - 如何在 java 中使用 Http、Socks4 和 Socks5 代理？

Question

我想对网站进行屏幕抓取，为此我想使用 Http、Socks4 和 Sock5 代理。所以我的问题如下:

1. 是否可以在不使用任何其他外部 API 的情况下通过 Java 使用这些代理？例如，是否可以通过 HttpURLConnection 发送请求？通过这些代理？

2. 如果不可能，那么我还可以使用哪些其他外部 API？

3. 我是通过使用 HtmlUnit 提供的 headless 浏览器来做到这一点的但是即使是简单的网页加载也需要时间，所以你能不能给我推荐其他提供 headless 浏览器的 API(如果有的话)，这些浏览器可以快速加载网页。我不想打开包含大量 AJAX 或 Javascript 代码的网页。我只需要通过 headless 浏览器单击表单按钮。

Answer 1

Is it possible to use these proxies through Java without using any other external API? For instance, Is it possible to send a request through HttpURLConnection through these proxies?

是的，您可以使用(全局)系统属性或使用 Proxy 配置代理类，或使用 ProxySelector .后两个选项从 Java 5 开始可用，并且更加灵活。看看Java Networking and Proxies正如 jarnbjo 提到的所有细节。

I was doing it by using a headless browser provided by HtmlUnit but it takes time to load even simple webpages, so could you please suggest me other APIs (if any) that provide headless browsers that are fast in loading webpages. I don't want to open webpages that contain heavy AJAX or Javascript code. I just need to click on the forms button through the headless browser.

不幸的是，我能想到的第一个替代方案是基于 HtmlUnit(如 JWebUnit 或 WebTest)或速度较慢(Selenium、WebDriver - 您可以在 headless 模式下运行)。但也许你可以试试 HttpUnit如果您不需要高级 JavaScript 支持。