java - Apache HttpComponents 代码导致线程阻塞

Question

我当前正在运行一个程序，该程序将使用 Apache HttpComponents 从网站下载源代码。我将下载很多(10,000 个)，因此我使用多个线程来执行此操作。

有时所有线程都会死亡(加入)，有时则不会。通过调试我确定该行

CloseableHttpResponse response = httpClient.execute(httpget,context);

是问题所在。有谁知道我如何为该行设置超时，或者为什么该行阻塞线程执行？

Answer 1

线程卡在 I/O 操作中可能有多种原因，不正确的超时设置是最可能的原因。可以使用 RequestConfig 类设置所需的超时值。但是，如果所有线程在 #execute 方法内立即被阻塞，则更有可能发生连接泄漏(连接池耗尽)。确保您始终关闭 CloseableHttpResponse 实例，即使不关心响应或其内容。您可以通过打开线路/上下文日志记录来了解有关请求执行的更多详细信息，如 logging guide 中所述。