apache-kafka - 将 Kafka 与 Netflix Conductor 一起使用

Question

我想知道是否有一种简单的方法可以连接 Kafka 和 Netflix Conductor(而不是 SQS)？目前，它似乎只适用于 Amazon SQS。此外，似乎只能按任务执行一项操作。有没有办法按任务执行多个操作？

提前致谢，

Answer 1

要将 Kafka 支持添加到 Netflix Conductor，您需要

在 contribs 中创建一个扩展 AbstractModule 的模块(在您的 server.properties 中添加一个条目，以对抗conductor.additional.modules 属性)

为 kafka 生产者和消费者操作实现 ObservableQueue。

像 SQS 实现一样实现 EventQueueProvider

在 server.properties

中为您的 kafka 初始化添加属性

kafka.producer.bootstrap.servers=host1:port1;host2:port2
kafka.producer.key.serializer=org.apache.kafka.common.serialization.StringSerializer
kafka.producer.value.serializer=org.apache.kafka.common.serialization.StringSerializer

kafka.consumer.bootstrap.servers=host1:port1;host2:port2
kafka.consumer.key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
kafka.consumer.value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

通过更新 contribs 模块的 build.gradle 为项目添加 kafka 库支持。

引用下面的 PR 链接实现(作者 preeth-gopalakrishnan)

https://github.com/Netflix/conductor/pull/672

(如果你没有找到PR，假设它被合并到master)