apache-kafka - 自动部署 Kafka Stream 应用程序

Question

我只是从 Kafka 和 Kafka 流应用程序开始。我写了一个 Kafka Stream 应用程序，它从一个主题中消费，处理这些消息，然后将它们发送到另一个主题。

据我所知，我发现运行这个 Kafka Stream App 编码的唯一方法是:

从 IDE 运行 Java 类。

生成 *.jar文件并从提示符运行它。

我想知道是否有任何方法可以在 Kafka 服务器启动时自动运行 Kafka Streaming Applications。例如:复制 *.jar文件到我的 Kafka 安装的某个文件夹，并在我启动我的 Kafka 服务器时自动运行这个流应用程序。

Answer 1

您的 Kafka 代理(服务器)和您的 Kafka Streams 应用程序彼此独立。您可以通过管理服务器上的进程来启动它们，无论是 initd 或 systemd 之类的东西，还是 Docker 或 Kubernetes 等基于容器的解决方案。

根据我的经验，如果您的流应用程序在您的代理或 ZooKeeper 之前启动，那么等待它们上线可能会超时。因此，您可能需要配置流进程以在这种情况下重新启动。