apache-kafka - 如何使用 Kafka 流式传输视频文件？

Question

我正在尝试发送多个 .mp4文件作为 kafka 流消息。
我尝试遵循与文本消息相同的方法，但没有成功。

这是否意味着我在生产和消费时需要一个特殊的编码器/解码器/串行器/解串器。我如何为此配置我的生产者和消费者？

Answer 1

create file similar to text file creation

通过这个，我假设你正在作为设置生产者和消费者的例子，通过 kafka 发送文本/json 消息。

在您的情况下，您需要 将您的视频文件/片段/块序列化为字节 , 将原始字节发送到 kafka，读取消费者和 中的字节反序列化您的视频文件/片段/大块 .

要通过 kafka 发送原始字节，您需要使用 ByteArraySerializer在制作人和 ByteArrayDeserializer在消费者。

看:
https://kafka.apache.org/20/javadoc/index.html?org/apache/kafka/common/serialization/ByteArrayDeserializer.html
https://kafka.apache.org/20/javadoc/org/apache/kafka/common/serialization/ByteArraySerializer.html

因此，在您的配置中，您需要指定属性(假设您不使用键，只使用值):
制作人:

"key.serializer":"org.apache.kafka.common.serialization.StringSerializer"
"value.serializer":"org.apache.kafka.common.serialization.ByteArraySerializer"

消费者:

"key.deserializer":"org.apache.kafka.common.serialization.StringDeserializer"
"value.deserializer":"org.apache.kafka.common.serialization.ByteArrayDeserializer"

如果您只想发送一个 mp4 文件，请将其作为字节读取(在 Java 中):
File to byte[] in Java

byte[] array = Files.readAllBytes(new File("/path/to/file").toPath());

另一方面，在消费者中，您接收该字节数组并将它们保存到文件中。