apache-kafka - 通过CMD获取启用SSL的Kafka中的最新偏移量

Question

我正在使用下面的CMD从具有纯文本端口打开的Kafka队列中获取最新的偏移量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list server:9092 --topic sample_topic --time -1

但是，现在我们只打开了SSL端口，因此我尝试将SSL详细信息作为属性文件传递

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list server:9093 --topic sample_topic --time -1 --consumer-config /path/to/file

出现以下错误-

Exception in thread "main" joptsimple.UnrecognizedOptionException: consumer-config is not a recognized option

如何将SSL详细信息传递给此命令？这些是kafka-run-class.sh kafka.tools.GetOffsetShell的所有可用参数。

--broker-list <String: hostname:and port,...,hostname:port>                
--max-wait-ms <Integer: ms>            
--offsets <Integer: count>             
--partitions <String: partition ids>   
--time <Long: timestamp/-1(latest)/-2             
--topic <String: topic>

Answer 1

不幸的是，kafka.tools.GetOffsetShell仅支持PLAINTEXT连接。该工具使用不多，没有人愿意对其进行更新。

根据您的用例，您有几种选择:

使用kafka-consumer-groups.sh工具:假设您有一个使用该主题的使用者组，此工具将显示每个分区

的日志末尾偏移量

修补程序kafka.tools.GetOffsetShell:添加对安全连接bby的重用，重用来自其他工具的逻辑，这实际上非常容易。如果这样做，请考虑将修补程序发送到Kafka =)

编写一个名为 Consumer.endOffsets()

的小工具

使用kafka.tools.DumpLogSegments:作为最后的手段，该工具还可用于查找最后一个偏移量