java - @KafkaListener 每天消费一百万多条消息的更好解决方案？

Question

我在 Spring Boot 项目中有一个 Spring KafkaListener:

@KafkaListener(topics = "topic-one", groupId = "groupone")
public void listen(CustomerDetails customerDetails) {
    if(customerDetails.getCertainDetails!= null && !customerDetails.getCertainDetails.isEmpty()) {
        dbInsert;
} else {
 log.info(customerDetails.toString)

}}

该听众每天将收到超过一百万条消息。当太多消息传入和数据库插入时，如何确保不会遇到并发问题？或者说我不需要担心这个问题？对于上面的代码方式有更好的解决方案吗？

Answer 1

How do i ensure that i dont run into concurrency issue while too many messages are coming in and db insertion

除非您的数据库客户端异步运行，否则您可能不会遇到该问题。 KafkaListener 处于阻塞状态，您可以在 Kafka 消费者属性中配置自己的 max.poll.records 设置来处理背压；您永远不会一次添加更多记录。

您目前是否看到任何迹象表明这就是事实？

Is there a better solution

总的来说，是的。它要求您不要自行管理 Kafka Consumers 并使用 Kafka Connect sink对于您各自的数据库。