java - Apache HTTPClient 抛出 java.net.SocketException : Connection reset for many domains

Question

我正在创建一个(表现良好的)网络蜘蛛，我注意到某些服务器导致 Apache HttpClient 给我一个 SocketException - 具体来说:

java.net.SocketException: Connection reset

导致此问题的代码是:

// Execute the request
HttpResponse response; 
try {
    response = httpclient.execute(httpget); //httpclient is of type HttpClient
} catch (NullPointerException e) {
    return;//deep down in apache http sometimes throws a null pointer...  
}

对于大多数服务器来说这都很好。但对于其他人来说，它会立即抛出 SocketException。

立即导致 SocketException 的站点示例:http://www.bhphotovideo.com/

效果很好(就像大多数网站一样):http://www.google.com/

现在，如您所见，www.bhphotovideo.com 在网络浏览器中加载良好。当我不使用 Apache 的 HTTP 客户端时，它也可以正常加载。 (代码如下:)

 HttpURLConnection c = (HttpURLConnection)url.openConnection();  
 BufferedInputStream in = new BufferedInputStream(c.getInputStream());  
 Reader r = new InputStreamReader(in);     

 int i;  
 while ((i = r.read()) != -1) {  
      source.append((char) i);  
 }  

那么，为什么我不直接使用这段代码呢？我需要使用 Apache 的 HTTP 客户端中的一些关键功能。

有人知道是什么原因导致某些服务器出现此异常吗？

迄今为止的研究:

• 问题发生在我的本地 Mac 开发计算机和 AWS EC2 实例上，因此它不是本地防火墙。

• 看来错误不是由远程计算机引起的，因为异常没有显示“由同行”

• 这个堆栈溢出似乎是相关的 java.net.SocketException: Connection reset但答案并没有说明为什么这种情况只会发生在 Apache HTTP 客户端而不是其他方法中。

额外问题:我正在使用这个系统进行大量的爬行。除了 Apache HTTP Client 之外，通常还有更好的 Java 类吗？我发现了许多问题(例如我必须在上面的代码中捕获 NullPointerException)。看来 HTTPClient 对服务器通信非常挑剔 - 比我希望的爬虫程序更挑剔，因为爬虫程序不能在服务器不正常运行时就中断。

谢谢大家!

解决方案

老实说，我没有完美的解决方案，但它确实有效，所以这对我来说已经足够了。

正如下面的 oleg 所指出的，Bixo 创建了一个爬虫，可以自定义 HttpClient，使其对服务器更加宽容。为了“解决”这个问题而不是解决它，我在这里使用了 Bixo 提供的 SimpleHttpFetcher:(链接已删除 - 所以认为我是垃圾邮件发送者，所以你必须自己用谷歌搜索)

SimpleHttpFetcher fetch = new SimpleHttpFetcher(new UserAgent("botname","contact@yourcompany.com","ENTER URL"));
try {
    FetchedResult result = fetch.fetch("ENTER URL");
    System.out.println(new String(result.getContent()));
} catch (BaseFetchException e) {
    e.printStackTrace();
}

此解决方案的缺点是 Bixo 有很多依赖项 - 因此这可能不是每个人都可以解决的好方法。但是，您始终可以了解他们对 DefaultHttpClient 的使用，并了解他们如何实例化它以使其正常工作。我决定使用整个类，因为它可以为我处理一些事情，例如自动重定向(并报告最终目标 URL)，这很有帮助。

感谢大家的帮助。

编辑:TinyBixo

大家好。因此，我喜欢 Bixo 的工作方式，但不喜欢它有如此多的依赖项(包括所有 Hadoop)。因此，我创建了一个大大简化的 Bixo，没有所有依赖项。如果您遇到上述问题，我建议您使用它(如果您想更新它，请随时提出拉取请求!)

可在此处获取:https://github.com/juliuss/TinyBixo

Answer 1

首先回答你的问题:

连接重置是由服务器端问题引起的。最有可能的是服务器无法解析请求或无法处理请求并因此断开连接而没有返回有效响应。 HttpClient 生成的 HTTP 请求中可能存在某些内容导致服务器端逻辑失败，这可能是由于服务器端错误所致。仅仅因为错误消息没有说“由对等方”并不意味着连接重置发生在客户端。

几点说明:

(1) bixo等几种流行的网络爬虫http://openbixo.org/使用 HttpClient 不会出现重大问题，但他们中的大多数都必须调整 HttpClient 行为，以使其对常见的 HTTP 协议(protocol)违规更加宽容。默认情况下，HttpClient 对 HTTP 协议(protocol)的遵从性相当严格。

(2) 为什么您没有向 HttpClient 项目报告 NPE 问题或您遇到的任何其他问题？