apache-kafka - 如何从托管的Kafka群集中提取数据并将其导入本地Kafka群集中？

Question

我在kubernetes中有一个Kafka集群，其中包含很多测试数据。我想将部分/全部测试数据导入本地Kafka集群。这样一来，对我来说，使用kubernetes的实际数据在本地环境中执行测试将变得更加容易。

那么，有没有办法将例如5000条消息从kafka主题转储到文件中并将它们还原到本地kafka主题中？

Answer 1

Replicator是一种商业工具，使您可以将主题从一个群集复制到另一个群集。与MirrorMaker类似，它旨在复制整个主题，而不仅仅是部分主题。

如果您只想要某种hacky选项，则可以将kafkacat与stdin / stdout一起使用，但是诸如分区，主题配置之类的东西以及您想要匹配以进行准确测试的所有东西，都必须确保正确完成。