java - 将 XML 数据发送到 Kafka 主题的最佳方式是什么？

Question

我正在尝试使用Kafka 0.9.0版本 Java API将XML数据发送到Kafka主题，因为从0.9开始.0 版本他们建议使用 Java API 而不是 Scala API 以获得更好的性能。

http://kafka.apache.org/090/documentation.html#producerapi

我的 XML 文件有大约 5 MB 数据，我可以使用什么 XML API 来读取 XML 文件并转换为字符串，然后将该字符串发送到 Kafka 主题。

或者我可以将该 XML 转换为 JSON 数据并将其发送到 Kafka 吗？我还应该考虑将 XML 数据拆分为多个少量数据并发送到 Kafka 主题吗？

Answer 1

读取/写入 XML 的 API 取决于程序员/环境。此外，除了简单的键/值模型之外，Apache Kafka 不会强制执行事件数据的任何特定格式。它同样适用于 XML、JSON、Avro 或任何其他数据格式。建议使用任何格式，无论是 XML、JSON，只要以一致的方式使用即可。如果您要使用 Kafka 开始一个新项目，那么在选择和使用正确的序列化格式等之前，需要考虑性能、易用性、编程语言支持等因素。Avro 是最成功的流数据格式之一。