apache-kafka - Kafka主题创建最佳实践

Question

在为Apache Kafka创建主题时，什么是最佳实践？每个人都允许自动创建主题吗？您是否将主题创建步骤与kafka-instance的开始捆绑在一起？

我有一个基于docker的Kafka安装，已被多个应用程序使用。如何将每个应用程序的主题创建与Kafka容器的启动分开？他们看着Confluents的音乐演示，通过旋转一个新的kafka图像来创建主题，调用“create-topic-script”，然后使容器消失。这感觉有点“hacky”，但是maby是唯一的方法吗？
问候

Answer 1

Whats is considered best-practise when creating topics for Apache Kafka? Does everyone allow automatic creation of topics or how do you do it?

这取决于您在做什么。您绝对可以使用主题自动创建，但是在分区和复制因子方面，自动创建的主题将具有默认的代理级配置。

对于Kafka Streams，建议在启动应用程序之前手动创建主题的 Confluent engineer writes:

I also want to point out, that it is highly recommended to not use auto topic create for Streams, but to manually create all input/output topics before you start your Streams application.

For more details, see http://docs.confluent.io/current/streams/developer-guide.html#managing-topics-of-a-kafka-streams-application

关于至于对于有关:

Do you bundle the topic-creation-step with the starting of the kafka-instance?

是的。如果您有Java应用程序，则可以在启动应用程序之前在应用程序的 AdminClient方法中使用 main 。如果您有其他类型的应用程序，则可以运行在应用程序之前调用 bin/kafka-topics.sh的初始化脚本。如果您使用的是Kubernetes，则可以使用 Kubernetes Init Container。但是显然有许多方法可以做到这一点。

This feels abit "hacky" but maby its the only way?

我不认为这很客气。我认为具有初始化步骤是很正常的。

最后，还请注意，您可能要针对主题配置保留策略。可以使用代理范围的默认值或基于每个主题的 https://stackoverflow.com/a/48504305/741970来完成此操作。