- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个 SwingWorker
可以获取 URL 列表(可能有数百个)。在 doInBackground()
方法中,它循环遍历这些 URL,每次创建一个 CloseableHttpClient
,由一个 PoolingHttpClientConnectionManager
和一个 HttpGet 管理
。client
将执行 httpGet
并将内容(图像)写入文件(如果可能的话!并非所有 URL 都有效,有些会返回 404
)。
这适用于大约 100 个请求,直到达到 connectionManager 的 maxTotal
(或 defaultMaxPerRoute
)。然后一切都停止了,客户端的执行停止了,没有异常被抛出。
所以我想,我应该将 maxTotal
和 defaultMaxPerRoute
设置为 1000
并检查它。当我尝试下载 1500 张图像时它可以工作,但感觉很不对劲!我想重用客户端,而不是将 1000 个客户端放在一个池中。
Socket- 或 ConnectionTimeouts 不起作用,调试不会告诉我发生了什么,并且在没有 PoolingHttpClientConnectionManager
的情况下创建新的 HttpClients
也不起作用。关闭客户端和/或结果也不起作用。
我应该如何管理客户端或设置池以确保我的 SwingWorker
甚至可以下载数千张图片?
我将尝试将我的 SwingWorker
代码分解为重要的部分:(差点忘了,其实是循环的对象列表,每个对象有3个URL)
// this is how I init the connectionManager (outside the swing worker)
this.connectionManager = new PoolingHttpClientConnectionManager();
this.connectionManager.setMaxTotal(100);
this.connectionManager.setDefaultMaxPerRoute(100);
// this is where the images are downloaded in the swing worker
@Override
protected Void doInBackground() throws Exception{
for(MyUrls myUrls : myUrlsList){
client = HttpClients.custom().setConnectionManager(connectionManager).build();
for(MyImage image : myUrls.getImageList()){
File outputFile = null;
HttpEntity entity = null;
switch(image.getImageSize()){
case 1:
HttpGet httpGet = new HttpGet(image.getUrl()));
httpGet.setConfig(RequestConfig.custom().setSocketTimeout(1000).setConnectTimeout(1000).build()); // doesn't change anything
response = client.execute(httpGet);
if(response.getStatusLine().getStatusCode() >= 200 && response.getStatusLine().getStatusCode() < 300){
entity = response.getEntity();
if(entity != null){
String contentType = entity.getContentType().getValue();
String extension = "." + (contentType.contains("/") ? contentType.substring(contentType.indexOf("/") + 1) : "jpg");
outputFile = new File(image.getName()+extension);
}
}else{
System.err.println("download of "+image.getName()+extension+" failed: " + response.getStatusLine().getStatusCode());
}
break;
case 2:
// the other cases are pretty much the same
}
if(entity != null && outputFile != null){
try(InputStream inputStream = entity.getContent(); FileOutputStream outputStream = new FileOutputStream(outputFile)){
byte[] buffer = new byte[1024];
int bytesRead;
while((bytesRead = inputStream.read(buffer)) != -1){
outputStream.write(buffer, 0, bytesRead);
}
}
}
}
}
}
最佳答案
您可能会泄漏连接,因为您只有在可以正确转储到文件输出流的 OK 响应(在 200 到 300 范围内)时才正确处理它们。
处理实体(响应的“内容”)是释放连接对象的唯一方法。为此,您可以调用 EntityUtils.consume(responseEntity)
) 和/或关闭响应对象(调用 response.close()
)和/或关闭或读取在每个请求/响应周期的 finally
子句中,直到实体流结束(调用 stream.close()
)。
您的代码实际上使用了响应的流,但仅在某些情况下(主要是:当请求成功时),因此这是对 API 的正确使用,但在其他情况下(例如 404 响应),您从不使用或释放.
您也可以为此使用 ResponseHandler
API 变体,它会为您处理所有这些 - 我建议您使用它。
如果你不总是这样做,连接将被 HTTPClient 认为是 Activity 的,它永远不会被释放,也不会被重用。在某些时候,您最终会遇到空连接池或系统错误(例如,打开的文件太多)。
请注意,它不仅适用于 200 OK 响应,它适用于每次调用(即使是 404 通常也有响应主体,如果您不使用该主体,则连接不会被释放)。
我建议您参阅用户指南的“基础知识”部分:https://hc.apache.org/httpcomponents-client-ga/tutorial/html/fundamentals.html
Here is an example of request execution process in its simplest form:
CloseableHttpClient httpclient = HttpClients.createDefault();
HttpGet httpget = new HttpGet("http://localhost/");
CloseableHttpResponse response = httpclient.execute(httpget);
try {
<...>
} finally {
response.close();
}
非常重要的部分是finally close中的close()。
1.1.5. Ensuring release of low level resources
In order to ensure proper release of system resources one must close either the content stream associated with the entity or the response itself
和:
1.1.6. Consuming entity content
The recommended way to consume the content of an entity is by using its HttpEntity#getContent() or HttpEntity#writeTo(OutputStream) methods. HttpClient also comes with the EntityUtils class, which exposes several static methods to more easily read the content or information from an entity. Instead of reading the java.io.InputStream directly, one can retrieve the whole content body in a string / byte array by using the methods from this class. However, the use of EntityUtils is strongly discouraged unless the response entities originate from a trusted HTTP server and are known to be of limited length.
关于响应处理程序变体:
1.1.8. Response handlers
The simplest and the most convenient way to handle responses is by using the ResponseHandler interface, which includes the handleResponse(HttpResponse response) method. This method completely relieves the user from having to worry about connection management.
您还可以阅读以下内容: Why did the author use EntityUtils.consume(httpEntity);?
拥有多线程连接管理器的要点是您可以拥有一个(而且只有一个)客户端,并为您的整个应用程序共享它。您不需要为每个请求构建一个客户端并让它们共享一个连接管理器。虽然你可以。
如果您使用缓存、cookie、身份验证等,拥有单个客户端可能会有所帮助,但在为每个请求创建新客户端时这些方法将无法工作。
1.2.1. HttpClient thread safety
HttpClient implementations are expected to be thread safe. It is recommended that the same instance of this class is reused for multiple request executions.
关于java - 当 PoolingHttpClientConnectionManager 中的 MaxPoolSize 太小时,Apache 的 HttpClient 停止工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40134171/
我正在编写一个具有以下签名的 Java 方法。 void Logger(Method method, Object[] args); 如果一个方法(例如 ABC() )调用此方法 Logger,它应该
我是 Java 新手。 我的问题是我的 Java 程序找不到我试图用作的图像文件一个 JButton。 (目前这段代码什么也没做,因为我只是得到了想要的外观第一的)。这是我的主课 代码: packag
好的,今天我在接受采访,我已经编写 Java 代码多年了。采访中说“Java 垃圾收集是一个棘手的问题,我有几个 friend 一直在努力弄清楚。你在这方面做得怎么样?”。她是想骗我吗?还是我的一生都
我的 friend 给了我一个谜语让我解开。它是这样的: There are 100 people. Each one of them, in his turn, does the following
如果我将使用 Java 5 代码的应用程序编译成字节码,生成的 .class 文件是否能够在 Java 1.4 下运行? 如果后者可以工作并且我正在尝试在我的 Java 1.4 应用程序中使用 Jav
有关于why Java doesn't support unsigned types的问题以及一些关于处理无符号类型的问题。我做了一些搜索,似乎 Scala 也不支持无符号数据类型。限制是Java和S
我只是想知道在一个 java 版本中生成的字节码是否可以在其他 java 版本上运行 最佳答案 通常,字节码无需修改即可在 较新 版本的 Java 上运行。它不会在旧版本上运行,除非您使用特殊参数 (
我有一个关于在命令提示符下执行 java 程序的基本问题。 在某些机器上我们需要指定 -cp 。 (类路径)同时执行java程序 (test为java文件名与.class文件存在于同一目录下) jav
我已经阅读 StackOverflow 有一段时间了,现在我才鼓起勇气提出问题。我今年 20 岁,目前在我的家乡(罗马尼亚克卢日-纳波卡)就读 IT 大学。足以介绍:D。 基本上,我有一家提供簿记应用
我有 public JSONObject parseXML(String xml) { JSONObject jsonObject = XML.toJSONObject(xml); r
我已经在 Java 中实现了带有动态类型的简单解释语言。不幸的是我遇到了以下问题。测试时如下代码: def main() { def ks = Map[[1, 2]].keySet()
一直提示输入 1 到 10 的数字 - 结果应将 st、rd、th 和 nd 添加到数字中。编写一个程序,提示用户输入 1 到 10 之间的任意整数,然后以序数形式显示该整数并附加后缀。 public
我有这个 DownloadFile.java 并按预期下载该文件: import java.io.*; import java.net.URL; public class DownloadFile {
我想在 GUI 上添加延迟。我放置了 2 个 for 循环,然后重新绘制了一个标签,但这 2 个 for 循环一个接一个地执行,并且标签被重新绘制到最后一个。 我能做什么? for(int i=0;
我正在对对象 Student 的列表项进行一些测试,但是我更喜欢在 java 类对象中创建硬编码列表,然后从那里提取数据,而不是连接到数据库并在结果集中选择记录。然而,自从我这样做以来已经很长时间了,
我知道对象创建分为三个部分: 声明 实例化 初始化 classA{} classB extends classA{} classA obj = new classB(1,1); 实例化 它必须使用
我有兴趣使用 GPRS 构建车辆跟踪系统。但是,我有一些问题要问以前做过此操作的人: GPRS 是最好的技术吗?人们意识到任何问题吗? 我计划使用 Java/Java EE - 有更好的技术吗? 如果
我可以通过递归方法反转数组,例如:数组={1,2,3,4,5} 数组结果={5,4,3,2,1}但我的结果是相同的数组,我不知道为什么,请帮助我。 public class Recursion { p
有这样的标准方式吗? 包括 Java源代码-测试代码- Ant 或 Maven联合单元持续集成(可能是巡航控制)ClearCase 版本控制工具部署到应用服务器 最后我希望有一个自动构建和集成环境。
我什至不知道这是否可能,我非常怀疑它是否可能,但如果可以,您能告诉我怎么做吗?我只是想知道如何从打印机打印一些文本。 有什么想法吗? 最佳答案 这里有更简单的事情。 import javax.swin
我是一名优秀的程序员,十分优秀!