apache-kafka - 如何在 Kafka 集群上部署 Kafka Streaming 应用程序

Question

我编写了 Kafka Streaming 应用程序，我想将它部署在 Kafka 集群上。所以我构建了一个 jar 文件并使用以下命令运行它:

 java -jar KafkaProcessing-1.0-SNAPSHOT-jar-with-dependencies.jar testTopic kafka1:9092,kafka2:9092 zookeeper1:2181,zookeeper2:2181 output

它运行正常，但作业正在我在命令上方运行的机器上运行!我想当我指定 BOOTSTRAP-SERVERS它会自动在集群上进行计算，而不是在主机上!

所以我的问题是如何在 kafka 集群上提交 Kafka 流作业？
像提供命令的 Spark 和 Flink 一样 spark-submit和 flink run在集群上部署应用程序。

Answer 1

Kafka 流有不同的架构——它不需要像 Spark/Flink 那样的集群编排——它们只是普通的应用程序，你可以启动和停止，如果你启动——它们会被放大，如果你停止它们会缩小。在内部，他们使用 Kafka 来协调数据处理，类似于其他 Kafka 消费者。

如果您有 Kubernetes、Docker Swarm 或其他类似平台，那么您可以将您的应用程序打包到 Docker 中，并使用该平台来运行您的 Kafka Streams 应用程序。