java - 从 kafka 消费者向服务发出 100 万个单独的 http 请求是个好主意吗？

Question

假设我有一个 kakfa 消费者，它每秒可以消耗大量消息。每条消息都需要通过 http 请求发布到另一个服务。为每条消息发出单独的 http 请求是个好主意吗？大约 100 万条消息 = 100 万个 http 请求

Answer 1

这很大程度上取决于您的用例。显然，批处理它们会更有效。然而，我认为最重要的是要记住什么时候提交这些消息。每当您决定进行 http 调用时，我建议在 http 调用成功之前不要提交消息。当然，这意味着您的 http 调用是幂等的，因为如果您的应用程序在 http 请求期间崩溃，您将再次使用该消息。