apache-spark - 动态更新 spark kafka 消费者的主题列表

Question

是否可以在 spark-kafka 消费者中动态更新主题列表？

我有一个使用 spark-kafka 消费者的 Spark Streaming 应用程序。
假设最初我让 spark-kakfa 消费者监听主题:["test"]，过了一段时间我的主题列表更新为 ["test","testNew"]。现在有没有办法更新 spark-kafka 消费者主题列表并要求 spark-kafka 消费者在不停止 sparkStreaming 应用程序或 sparkStreaming 上下文的情况下使用更新的主题列表的数据

Answer 1

Is it possible to dynamically update topics list in spark-kafka consumer

不。一旦您使用 KafkaUtils 初始化 kafka 流，接收器和无接收器方法都已修复。 .由于 DAG 是固定的，因此您无法随时传递新主题。

如果你想动态阅读，也许可以考虑一个批处理k
迭代调度的作业，可以动态读取主题并创建 RDD出于那个。

另一种解决方案是使用一种技术，它可以让您在消费方面具有更高的灵活性，例如 Akka Streams。