javascript - 使用kafka消费者进行数据库操作或http调用

Question

我是 Apache Kafka 的新手。我有几个问题？如果您使用 Kafka 生产者生成主题并且 Kafka 消费者收到消息

consumer.on('message', function (message) {
})

例如，如果我想将数据发送到某个数据库或调用API来更新我的数据库，最好在consumer.on方法中进行所有编码

 consumer.on('message', function (message) {
    let data = await getPayload();//get payload
    //console.log(data,'data')
    //pause(topic,0); //pause until the prev request is completed
    request({
        url: process.env.API + '/some-api',
        method: 'POST',
        json: true,
        body: data
      }, function(err, response, body) {
        if (err) {
          console.error('got error', err);
          //resume(topic,0); resume when err/response recived 
        } else {
          // console.log('response', response);
          console.log('body', body);
          //resume(topic,0);
        }
    });
  })

有什么替代或推荐的方法吗？

Answer 1

在从 kafka 消费并将其加载到任何接收器(如您的情况下的数据库)时，您需要注意处理任何故障、确切的一种语义等。已经有一个可用的数据库接收器连接器(下面的链接)，您可以检查它是否满足您的要求

kafka-connect-jdbc