apache-kafka - 将消息从一个Kafka主题复制到另一个Kafka主题

Question

我想从生产集群中的Kafka集群/主题流到开发环境中的另一个Kafka集群，以进行可伸缩性和重新测试。

对于鸭带解决方案，我将Kafka的消费者和生产者串联起来，但是我的直觉告诉我，应该有更好的方法。但是，我找不到任何好的解决方案。谁能帮我？

Answer 1

如果要将数据从一个群集复制到另一个群集，则有一个名为MirrorMaker的kafka工具。


Kafka带有用于在Kafka集群之间镜像数据的工具。该工具从源群集读取并写入目标群集。将从源集群中的主题读取数据，并将数据写入目标集群中的同名主题。


这是运行MirrorMaker工具的语法：

bin/kafka-run-class.sh kafka.tools.MirrorMaker
       --consumer.config consumer.properties
       --producer.config producer.properties --whitelist my-topic

您可以在kafka安装目录中找到此脚本。在这里，您需要提供 consumer.properties的 source cluster和 producer.properties的 destination cluster。您可以通过 --whitelist选项将哪些主题镜像到白名单。

您可以找到有关 Mirroring data between clusters的更多信息

注意：MirrorMaker将数据复制到与 topic_name相同的 destination cluster中的 source cluster中