scala - Kafka MirrorMaker 的消费者没有从主题中获取所有消息

Question

我正在尝试设置 Kafka Mirror 机制，但似乎来自源 Kafka 集群的 Kafka MirrorMaker 的消费者只会在镜像制造商进程启动后立即从新传入的数据读取到主题，即它不会读取历史上保存的数据之前的话题。

我为此使用 Kafka MirrorMaker 类:
/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config consumer.config --num.streams 2 --producer.config producer.config --whitelist=".*"consumer.config 从 Kafka 源集群中读取，如:
zookeeper.connect=127.0.0.1:2181zookeeper.connection.timeout.ms=6000group.id=kafka-mirror
和 producer.config 设置以生成新的 Kafka 镜像集群:
metadata.broker.list=localhost:9093producer.type=synccompression.codec=noneserializer.class=kafka.serializer.DefaultEncoder
有没有办法定义 Kafka MirrorMaker 的消费者从我的源 Kafka 集群的主题开始读取？有点奇怪，因为我在 consumer.config 设置中定义了一个新的消费者组( kafka-mirror )，所以消费者应该只读取 offset 0 ，即从主题的开头。

提前谢谢了!

Answer 1

在消费者属性中，添加
auto.offset.reset=earliest
这应该工作