java - 如何将主题的所有记录存储在单个文件中？

Question

如何存储kafka主题的所有信息以及文件中的所有记录详细信息。

a) 我可以在单个文件中获取 KafkaTopic 的所有记录吗？

b) kafka 上的主题详细信息在哪里？

Answer 1

a) 您可以尝试将所有主题消息提取到一个文件中

kafka-console-consumer --bootstrap-server localhost:9092 --topic <TOPIC> --from-beginning > singlefile.txt

您还可以添加 --property print.key=true 以包含消息 key

您可以使用文件输出将数据生成到kafka中。

b)您可以使用此命令获取主题分区、配置和同步状态

kafka-topics --describe --zookeeper localhost:2181 --topic <TOPIC>

您可以使用此命令获取主题设置

kafka-configs --zookeeper localhost:2181 --describe --entity-type topics --entity-name <TOPIC>

您可以在每个命令上使用 add 并将它们导出到文件系统。

> simplefile.txt