go - 卡夫卡服务器 : Offset's topic has not yet been created

Question

我正在使用 Kafka 服务器 0.9 + zookeper。我是卡夫卡的新手。它在 virtualbox 中运行，我可以使用公共(public) IP 连接到它，所以它正在工作......或多或少:可以获取主题和消息。所以现在我有两个问题:

1. 我在 __consumer_offsets(空)找不到任何东西，这就是为什么我遇到 go simple consumer 脚本抛出错误的问题:kafka 服务器:Offset 的主题尚未创建;当我通过命令 ls/brokers/topics/__consumer_offsets 检查 zookeeper-shell.sh 控制台时，我出错了:Node does not exist:/brokers/topics/__consumer_offsets/p>

2. (也许它们已连接)我在自动创建主题时收到了一个小警告:WARN NetworkClient - Error while fetching metadata with correlation id 4157 : {topicName=LEADER_NOT_AVAILABLE}

非常感谢任何帮助。谢谢!

Answer 1

__consumer_offsets 主题在使用组的消费者连接到集群时自动创建。

默认情况下，Sarama 不支持组 (https://github.com/Shopify/sarama/wiki/Frequently-Asked-Questions#how-can-i-use-sarama-to-monitor-or-join-a-consumer-group)，因此除非您使用集群扩展 (https://github.com/bsm/sarama-cluster)，否则这是预期的。

如果需要，可以使用Kafka自带的kafka-console-consumer.sh工具来创建。