java - Apache HTTPClient 抛出 java.net.SocketException : Connection reset for many domains

Question

我正在创建一个(表现良好的)网络蜘蛛，我注意到一些服务器导致 Apache HttpClient 给我一个 SocketException——特别是:

java.net.SocketException: Connection reset

导致这个的代码是:

// Execute the request
HttpResponse response; 
try {
    response = httpclient.execute(httpget); //httpclient is of type HttpClient
} catch (NullPointerException e) {
    return;//deep down in apache http sometimes throws a null pointer...  
}

对于大多数服务器来说，这很好。但对于其他人，它会立即抛出 SocketException。

导致立即发生 SocketException 的网站示例:http://www.bhphotovideo.com/

效果很好(和大多数网站一样):http://www.google.com/

现在，如您所见，www.bhphotovideo.com 在网络浏览器中加载正常。当我不使用 Apache 的 HTTP 客户端时，它也能正常加载。 (像这样的代码:)

 HttpURLConnection c = (HttpURLConnection)url.openConnection();  
 BufferedInputStream in = new BufferedInputStream(c.getInputStream());  
 Reader r = new InputStreamReader(in);     

 int i;  
 while ((i = r.read()) != -1) {  
      source.append((char) i);  
 }  

那么，为什么我不直接使用这段代码呢？我需要使用 Apache 的 HTTP 客户端中的一些关键功能。

有谁知道是什么原因导致某些服务器出现这个异常？

目前的研究:

• 问题出现在我的本地 Mac 开发机器和 AWS EC2 实例上，因此它不是本地防火墙。

• 似乎错误不是由远程机器引起的，因为异常没有说“由对等”

• 这个堆栈溢出似乎是相关的java.net.SocketException: Connection reset但答案并没有说明为什么这只会发生在 Apache HTTP 客户端而不是其他方法。

奖励问题:我正在使用该系统进行大量爬行。除了 Apache HTTP Client 之外，通常有更好的 Java 类吗？我发现了很多问题(例如我必须在上面的代码中捕获的 NullPointerException)。似乎 HTTPClient 对服务器通信非常挑剔——比我希望的更挑剔，因为爬虫不能在服务器不正常时中断。

谢谢大家!

解决方案

老实说，我没有完美的解决方案，但它确实有效，所以这对我来说已经足够了。

正如下面的 oleg 所指出的，Bixo 创建了一个爬虫程序，它自定义 HttpClient 以对服务器更加宽容。为了“解决”这个问题而不是解决它，我在这里使用了 Bixo 提供的 SimpleHttpFetcher:(链接已删除 - 所以认为我是垃圾邮件发送者，所以你必须自己谷歌)

SimpleHttpFetcher fetch = new SimpleHttpFetcher(new UserAgent("botname","contact@yourcompany.com","ENTER URL"));
try {
    FetchedResult result = fetch.fetch("ENTER URL");
    System.out.println(new String(result.getContent()));
} catch (BaseFetchException e) {
    e.printStackTrace();
}

此解决方案的缺点是 Bixo 有很多依赖项——因此这可能不是适合所有人的解决方法。但是，您始终可以通过他们对 DefaultHttpClient 的使用来了解他们如何实例化它以使其正常工作。我决定使用整个类，因为它为我处理了一些有用的事情，例如自动重定向跟踪(并报告最终目标 url)。

感谢大家的帮助。

编辑:TinyBixo

大家好。所以，我喜欢 Bixo 的工作方式，但不喜欢它有这么多依赖项(包括所有 Hadoop)。因此，我创建了一个大大简化的 Bixo，没有所有依赖项。如果您遇到上述问题，我建议您使用它(如果您想更新它，请随时提出拉取请求!)

可在此处获得:https://github.com/juliuss/TinyBixo

Answer 1

首先，回答你的问题:

连接重置是由服务器端的问题引起的。服务器很可能无法解析请求或无法处理它并因此放弃连接而没有返回有效响应。 HttpClient 生成的 HTTP 请求中可能有某些内容导致服务器端逻辑失败，这可能是由于服务器端错误。仅仅因为错误消息没有说“by peer”并不意味着连接重置发生在客户端。

几点说明:

(1) bixo等几种流行的网络爬虫http://openbixo.org/使用 HttpClient 没有重大问题，但他们中的很多人不得不调整 HttpClient 行为以使其对常见的 HTTP 协议(protocol)违规行为更加宽容。默认情况下，HttpClient 对 HTTP 协议(protocol)合规性相当严格。

(2) 为什么不向 HttpClient 项目报告 NPE 问题或您遇到的任何其他问题？