apache-kafka - 是否可以禁用某些 kafka 主题的缓存？

Question

所以我在kafka中有一个场景，其中有2个主题:A和B。主题A的消费者在线(并且需要快速消费数据)，主题B的消费者离线。由于主题 B 的消费者处于离线状态，因此我现在不需要缓存与主题 B 相关的任何消息，并且希望主题 A 获取整个缓存。是否可以禁用某些 kafka 主题的缓存？

编辑:我所说的缓存是指消息存储在内存中，消费者也从内存(而不是磁盘)中读取。在这种情况下，我希望将与主题 A 相关的消息缓存在内存中。并且与主题B相关的消息不必缓存在内存中。我希望主题 A 使用本来分配给主题 B 的内存空间

Answer 1

您可以禁用特定消费者的缓存:

If you would like to disable the caching for Kafka consumers, you can set spark.streaming.kafka.consumer.cache.enabled to false.

来自 [Spark Streaming + Kafka 集成指南]，我建议您遵循它以获得进一步的说明。