java - 是否可以将二进制文件(比如 .mp3 文件)作为单个消息放入 Kafka 中？如果是，如何？

Question

我对 Apache Kafka 比较陌生。作为一个小项目的一部分，我试图将一个文本日志文件作为一条消息放入 Kafka 中。我遇到了一些编码错误。 Kafka 的 java API(据我所知)主要包含 String 编码的规定。

作为变通方法，我将我的日志文件逐行放入 Kafka，其中每行代表一条消息，但这并不能解决我最初的问题陈述 - 一个文件作为一条消息。

Answer 1

您应该包含错误消息。

无论如何，只要maximum message size setting，就应该可以在一条消息中将任意大文件发送到Kafka。生产者/经纪人/消费者允许这样做。
经纪人不关心数据的类型，因为他们以二进制格式存储数据。
顺便说一句，我不确定使用 Kafka 处理大文件的效率如何，因为根据 LinkedIn 的测试，最佳缓冲区大小在 64 - 128 kB 范围内。
如果我是你，我会做一些测试 :)