java - Kafka Producer 将消息从 XML 文件发布到 Kafka Topic

Question

我有一个用例“XML 文件 ==> Kafka 主题 ==> 构建 REST API 来查询”来自 kafka 主题的数据。我熟悉将数据转换为 Avro 格式并写入 kafka 主题。

您能否建议如何发布 XML？

文件数据包含kafka topic的多条记录，消费kafka topic的数据时，如何从Rest API访问？

我还尝试使用 kafka-console- Producer 进行发布，但每行 xml 文件的 key 都填充为 NULL，而不是 XML 记录。

代码如下所示。

producer.sendMessage(linenum, line);

public static final String fileName = "testfolder/memberdetails.xml";

public void sendMessage(String key, String value) {

            producer.send(
                    new ProducerRecord<String, String>(topicName, key, value))

            System.out.println("Sent message: (" + key + ", " + value + ")");
        } 
}

Answer 1

1. 使用 Kafka Connect 和 XML transformation 提取 XML 文件
2. 使用开源 Confluent REST Proxy 提供来自 Kafka 主题的数据(作为 Confluent Platform 或 standalone 的一部分提供)