java - 当 PoolingHttpClientConnectionManager 中的 MaxPoolSize 太小时，Apache 的 HttpClient 停止工作

Question

我有一个 SwingWorker 可以获取 URL 列表(可能有数百个)。在 doInBackground() 方法中，它循环遍历这些 URL，每次创建一个 CloseableHttpClient，由一个 PoolingHttpClientConnectionManager 和一个 HttpGet 管理。client 将执行 httpGet 并将内容(图像)写入文件(如果可能的话!并非所有 URL 都有效，有些会返回 404)。

这适用于大约 100 个请求，直到达到 connectionManager 的 maxTotal(或 defaultMaxPerRoute)。然后一切都停止了，客户端的执行停止了，没有异常被抛出。

所以我想，我应该将 maxTotal 和 defaultMaxPerRoute 设置为 1000 并检查它。当我尝试下载 1500 张图像时它可以工作，但感觉很不对劲!我想重用客户端，而不是将 1000 个客户端放在一个池中。

Socket- 或 ConnectionTimeouts 不起作用，调试不会告诉我发生了什么，并且在没有 PoolingHttpClientConnectionManager 的情况下创建新的 HttpClients 也不起作用。关闭客户端和/或结果也不起作用。

我应该如何管理客户端或设置池以确保我的 SwingWorker 甚至可以下载数千张图片？

我将尝试将我的 SwingWorker 代码分解为重要的部分:(差点忘了，其实是循环的对象列表，每个对象有3个URL)

// this is how I init the connectionManager (outside the swing worker)
this.connectionManager = new PoolingHttpClientConnectionManager();
this.connectionManager.setMaxTotal(100);
this.connectionManager.setDefaultMaxPerRoute(100);

// this is where the images are downloaded in the swing worker
@Override
protected Void doInBackground() throws Exception{
    for(MyUrls myUrls : myUrlsList){
        client = HttpClients.custom().setConnectionManager(connectionManager).build();         
        for(MyImage image : myUrls.getImageList()){
            File outputFile = null;
            HttpEntity entity = null;
            switch(image.getImageSize()){
                case 1:
                    HttpGet httpGet = new HttpGet(image.getUrl()));
                    httpGet.setConfig(RequestConfig.custom().setSocketTimeout(1000).setConnectTimeout(1000).build());  // doesn't change anything
                    response = client.execute(httpGet);
                    if(response.getStatusLine().getStatusCode() >= 200 && response.getStatusLine().getStatusCode() < 300){
                        entity = response.getEntity();
                        if(entity != null){
                            String contentType = entity.getContentType().getValue();
                            String extension = "." + (contentType.contains("/") ? contentType.substring(contentType.indexOf("/") + 1) : "jpg");
                            outputFile = new File(image.getName()+extension);
                        }
                    }else{
                        System.err.println("download of "+image.getName()+extension+" failed: " + response.getStatusLine().getStatusCode());
                    }
                    break;
                case 2:
                   // the other cases are pretty much the same
            }
            if(entity != null && outputFile != null){
                try(InputStream inputStream = entity.getContent(); FileOutputStream outputStream = new FileOutputStream(outputFile)){
                    byte[] buffer = new byte[1024];
                    int bytesRead;
                    while((bytesRead = inputStream.read(buffer)) != -1){
                        outputStream.write(buffer, 0, bytesRead);
                    }
                }
            }
        }
    }
}

Answer 1

您可能会泄漏连接，因为您只有在可以正确转储到文件输出流的 OK 响应(在 200 到 300 范围内)时才正确处理它们。

长话短说:始终处置实体

处理实体(响应的“内容”)是释放连接对象的唯一方法。为此，您可以调用 EntityUtils.consume(responseEntity)) 和/或关闭响应对象(调用 response.close())和/或关闭或读取在每个请求/响应周期的 finally 子句中，直到实体流结束(调用 stream.close())。

您的代码实际上使用了响应的流，但仅在某些情况下(主要是:当请求成功时)，因此这是对 API 的正确使用，但在其他情况下(例如 404 响应)，您从不使用或释放.

您也可以为此使用 ResponseHandler API 变体，它会为您处理所有这些 - 我建议您使用它。

如果你不总是这样做，连接将被 HTTPClient 认为是 Activity 的，它永远不会被释放，也不会被重用。在某些时候，您最终会遇到空连接池或系统错误(例如，打开的文件太多)。

请注意，它不仅适用于 200 OK 响应，它适用于每次调用(即使是 404 通常也有响应主体，如果您不使用该主体，则连接不会被释放)。

来自用户指南的提示

我建议您参阅用户指南的“基础知识”部分:https://hc.apache.org/httpcomponents-client-ga/tutorial/html/fundamentals.html

Here is an example of request execution process in its simplest form:

CloseableHttpClient httpclient = HttpClients.createDefault();
HttpGet httpget = new HttpGet("http://localhost/");
CloseableHttpResponse response = httpclient.execute(httpget);
try {
    <...>
} finally {
    response.close();
}

非常重要的部分是finally close中的close()。

1.1.5. Ensuring release of low level resources

In order to ensure proper release of system resources one must close either the content stream associated with the entity or the response itself

和:

1.1.6. Consuming entity content

The recommended way to consume the content of an entity is by using its HttpEntity#getContent() or HttpEntity#writeTo(OutputStream) methods. HttpClient also comes with the EntityUtils class, which exposes several static methods to more easily read the content or information from an entity. Instead of reading the java.io.InputStream directly, one can retrieve the whole content body in a string / byte array by using the methods from this class. However, the use of EntityUtils is strongly discouraged unless the response entities originate from a trusted HTTP server and are known to be of limited length.

关于响应处理程序变体:

1.1.8. Response handlers

The simplest and the most convenient way to handle responses is by using the ResponseHandler interface, which includes the handleResponse(HttpResponse response) method. This method completely relieves the user from having to worry about connection management.

栈溢出提示

您还可以阅读以下内容: Why did the author use EntityUtils.consume(httpEntity);?

旁注

拥有多线程连接管理器的要点是您可以拥有一个(而且只有一个)客户端，并为您的整个应用程序共享它。您不需要为每个请求构建一个客户端并让它们共享一个连接管理器。虽然你可以。
如果您使用缓存、cookie、身份验证等，拥有单个客户端可能会有所帮助，但在为每个请求创建新客户端时这些方法将无法工作。

1.2.1. HttpClient thread safety

HttpClient implementations are expected to be thread safe. It is recommended that the same instance of this class is reused for multiple request executions.