java - 通过 SOCKS Proxy 连接到 Kafka

Question

我有一个在 AWS 上运行的 Kafka 集群。我想从我的应用程序服务器使用标准的 kafka-console-consumer 连接到集群。应用服务器可以通过 SOCKS-Proxy 访问互联网。无需身份验证

如何告诉 Kafka 客户端通过代理连接？

我尝试了很多方法，包括将标准的 JVM 代理参数添加到 kaka-run-class.sh 脚本中。但我仍然收到连接拒绝错误。

exec $JAVA -DsocksProxyHost=proxy.host.name -DsocksProxyPort=1080 $KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS -cp $CLASSPATH $KAFKA_OPTS "$@"

编辑:
事实证明，Kafka 使用了 java.nio 库。它的套接字实现与代理不兼容。所以我用的jvm参数对Kafka客户端没有影响。

Answer 1

正如评论和编辑中提到的，提问者已经找到了解决方案/根本原因:

It turns out, Kafka uses the java.nio library. It's socketimplementation is not compatible with proxies. So the jvm parameters Iused have no effect on the Kafka client.