java - OkHttpClient - 最佳ThreadPoolTask​​Executor

Question

尝试了解我在传输到 OkHttpClient 时可以定义的最佳 Java ThreadPoolTask​​Executor(延迟方面)。目前我们的定义如下:

<property name="corePoolSize" value="#{ T(java.lang.Math).max(32,numCpu) * 2 }" />
<property name="maxPoolSize" value="#{ T(java.lang.Math).max(32,numCpu) * 8 }" />
<property name="queueCapacity" value="200"/>

最大队列容量(将打开新线程)为 200，最小线程数为 max(32,numCpu) * 2，最大线程数为 max(32 ,numCpu) * 8。在我们的例子中，numCpu 可能在 16 到 24 之间变化(不过，如果考虑到超线程，则将该数字乘以 *2，对吧？)。但是当你考虑一下时 - 我不确定这里的线程数是否应该以某种方式与 CPU 计数相关。这些是 HTTP 客户端的发送/接收线程，而不是 BusinessLogic 线程。因此，也许 CPU 数量不应该成为这里的因素。

有什么意见/建议吗？

Answer 1

在我看来，您的线程池被用来同时建立大量 HTTP 连接，这意味着您的性能不受 CPU 使用率的限制，而是受 I/O(也可能是内存)的限制。 “最佳”线程数量将受到许多其他因素的限制......

<强>1。客户端和端点之间的链接速度。

假设您的客户端连接到 1Gbps 链路，但在线路下游的某个地方，您的所有端点只能以 1Mbps 为您提供数据。要最大化本地带宽，您需要同时运行 1000 个连接才能充分利用 1Gbps 链路，这意味着您的线程池需要运行 1000 个线程。但这也可能因为另一个问题而出现问题......

<强>2。每个线程的内存使用量不为零，即使它们没有执行任何密集操作。

分配给 Java 的默认堆栈空间量因供应商而异，但大约为 1MB。这听起来并不是很多，但是如果您需要运行数千个线程来同时保持尽可能多的客户端连接处于 Activity 状态，则您将需要单独为堆栈空间分配千兆字节的 RAM。您可以使用 -Xss[size] 调整每个线程分配的堆栈空间。 VM 参数，但这对于 VM 来说是全局的，因此缩小堆栈大小可能会导致程序的其他区域出现问题，具体取决于您在做什么。

<强>3。平均 HTTP 请求大小。

有时，它会归结为您希望每次 POST/GET 调用传输多少数据。回想一下，每个 TCP 连接都需要在发送任何数据之前进行初始握手。如果您希望在 HTTP 调用的生命周期内传输的数据量非常小，则即使您有数千个线程可供使用，您也可能无法保持数千个连接同时运行。如果数量非常大，可能只需要几个并发连接即可最大化客户端可用的总带宽。

最后...

如果您的所有端点都在网络上运行，您可能无法预测每个连接的链接速度。我认为您能做的最好的事情就是对不同配置的性能进行基准测试，同时考虑每个因素，并选择在您的典型操作环境中似乎能提供最佳性能的配置。它可能在 N 到 1000 之间，其中 N 是您运行的核心数量，但将该数字确定为特定值需要花费一些精力:)