apache-kafka - 如何使用kafka sink向kafka主题发送数据？

Question

目前我有一个接收器连接器，它从主题 A 获取数据并将其发送到外部服务。

现在我有一个用例，基于某些逻辑我应该将它发送到主题 B 而不是服务。而这个逻辑基于目标服务的响应，将根据数据返回响应。所以因为每次我不能使用流 api 时都应该将数据发送到目标系统。

这是否可行？

或者我应该手动将 kafka 生产者添加到我的接收器中吗？如果有，有什么缺点吗？

Answer 1

第一个选项是创建一个 custom Kafka Connect Single Message Transform这将实现所需的逻辑并可能使用 ExtractTopic以及(取决于您的自定义 smt 的外观)。

---

第二种选择是构建您自己的消费者。例如:

第 1 步:在主题 A 之上再创建一个主题

再创建一个主题，比如 topic_a_to_target_system

第 2 步:实现自定义消费者

实现一个 Kafka 消费者，它消费来自主题 topic_a 的所有消息。此时需要实例化一个Kafka Producer，并根据逻辑决定将topic转发到topic_B还是转发到目标系统(topic_a_to_target_system)。

第 3 步:在 topic_a_to_target_system 上启动 Sink 连接器

最后启动您的接收连接器，以便它将数据从主题 topic_a_to_target_system 接收到您的目标系统。