java - 在 Apache Kafka 中存储图像？

Question

Kafka 的大用户(例如 LinkedIn)是否将上传的图像存储在 Kafka 中？我喜欢将所有内容 放入日志的架构简单性，但我担心它在实践中可能行不通。

Answer 1

理论上没有限制，因为您可以轻松地将图像以二进制形式存储在 Kafka 队列中。但是可能还有其他问题..我会尝试对此进行一些思考

消费者配置中有一个message.max.bytes参数，默认值为1000000。这样做实际上是为了防止代理耗尽内存，因为消费者没有流式传输消息的选项，必须分配内存才能读取消息。一种解决方法是压缩 Kafka 中的消息以节省空间。

我能找到的最合适的条件是通过发送和接收缓冲区的预分配来编写自己的客户端实现，通过 Kafka 提供零拷贝文件传输，如 this 中所示。讨论。

你需要检查是否有可能做出这样的努力来实现同样的目标。