compression - Kafka消息编解码器-压缩和解压缩

Question

使用kafka时，可以通过设置我的kafka生产者的kafka.compression.codec属性来设置编解码器。

假设我在生产者中使用了快照压缩，当使用一些kafka-consumer消费来自kafka的消息时，我应该做些什么来解码来自snappy的数据，还是kafka消费者的某些内置功能？

在relevant documentation中，我找不到与kafka使用者中的编码有关的任何属性(它仅与生产者有关)。

有人可以清除吗？

Answer 1

根据我的理解，解压缩是由消费者自己进行的。如其官方Wiki页面中所述The consumer iterator transparently decompresses compressed data and only returns an uncompressed message
如this文章中所述，消费者的工作方式如下

The consumer has background “fetcher” threads that continuously fetch data in batches of 1MB from the brokers and add it to an internal blocking queue. The consumer thread dequeues data from this blocking queue, decompresses and iterates through the messages

而且在doct页面的 End-to-end Batch Compression下也写着

A batch of messages can be clumped together compressed and sent to the server in this form. This batch of messages will be written in compressed form and will remain compressed in the log and will only be decompressed by the consumer.

因此看来，解压缩部分是在使用者中处理的，您自己要做的就是在创建生产者时使用 compression.codec ProducerConfig属性提供有效/受支持的压缩类型。我找不到任何示例或解释，其中没有说明在用户端使用任何减压方法。如果我错了，请纠正我。