http - 用 Java 构建一个可扩展的 http 客户端，每分钟触发 10k 个 http 请求

Question

在我们的应用程序中，我们需要每分钟对 1 万个不同的端点 URL 进行大约 1 万次 REST API 调用。早些时候我使用的是同步模型，但很快意识到我无法扩展到 ~2k+ 限制之外，所以我正在努力切换到异步模型。使用 HttpCore-NIO lib，我可以扩展到 5k 左右，但超出这个范围时，我会随机收到错误消息“I/O react 器已关闭”，并且整个应用程序基本上停止处理请求。也看不到任何堆栈跟踪，这使得调试非常困难。

因此，我正在尝试评估以 Java 作为编程语言实现这种规模的最佳策略/库是什么。关于我应该研究哪些图书馆的任何建议？

Answer 1

如果您的机器本身在 CPU、网络等方面没有压力，那么横向扩展可能会有所帮助——如果您可以通过 1 个进程达到 5K，请尝试从两个进程触发请求；看看你得到了什么；你可以水平缩放多远。实现水平缩放的额外编码不应该那么多。

或者 try catch 异常并忽略它们，以防止 I/O react 器关闭。尝试可以忽略的内容。请参阅此处的示例 https://hc.apache.org/httpcomponents-core-4.4.x/tutorial/html/nio.html#d5e477 , 搜索“I/O react 堆异常处理”

实验线程数 - setIoThreadCount

确保您没有对 HTTP 响应进行过多处理；那会支撑 react 堆。