hadoop - 从外部连接kafka的问题

Question

我正在为 kafka 服务器使用 hortonwork 沙箱尝试将 eclipse 中的 kafka 与 java 代码连接起来。使用此配置连接到生产者以发送消息

metadata.broker.list=sandbox.hortonworks.com:45000
serializer.class=kafka.serializer.DefaultEncoder
zk.connect=sandbox.hortonworks.com:2181
request.required.acks=0
producer.type=sync

其中 sandbox.hortonworks.com 是我连接到的沙箱名称

在kafka server.properties中我修改了这个配置

host.name=sandbox.hortonworks.com

advertised.host.name=System IP(on which my eclipse is running)
advertised.port=45000

也做了端口转发，

我可以从 eclipse 连接到 kafka 服务器，但是在发送消息时出现异常异常“尝试 3 次后发送消息失败。”

Answer 1

首先确保您已按照此处所述为 Hortonworks 沙盒 VM 配置仅主机网络:

http://hortonworks.com/community/forums/topic/use-host-only-networking-for-the-virtual-machine/

完成此操作后，您的沙盒 VM 应该获得一个 IP(例如 192.168.56.101)，并且应该可以通过 SSH 从您的主机访问它

$ ssh root@192.168.56.101

然后在 http://192.168.56.101:8080/ 打开 Ambari并将 Kafka 配置更改为

listeners=PLAINTEXT://0.0.0.0:6667
advertised.listeners=PLAINTEXT://192.168.56.101:6667 

后一个属性必须添加到“Custom kafka-broker”部分(另请参阅 http://hortonworks.com/community/forums/topic/ambari-alerts-how-to-change-kafka-port/)。

然后通过 Ambari 启动/重启 Kafka。您现在应该能够从 Hortonworks Sandbox VM 外部访问 Kafka。您可以使用例如(从沙箱 VM 外部)对此进行测试来自 Kafka 发行版的 Kafka 控制台生产者，例如

$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
$ bin/kafka-console-producer.sh --topic test --broker-list 192.168.56.101:6667