apache-spark - Spark Streaming - 作业与默认的 spark.streaming.concurrentJobs 设置同时运行

Question

我在 Spark Streaming Job 中遇到了一个奇怪的行为。我们使用了 spark.streaming.concurrentJobs 的默认值 1。同一个流作业正常运行超过一天，批处理间隔设置为 10 分钟。突然间，同一作业开始同时运行所有进入的批处理，但没有将它们放入队列。

有没有人遇到过这个问题？这会很有帮助!

Answer 1

这种行为似乎很奇怪，但我相信当一次只有 1 个作业在运行并且如果批处理时间 < 批处理间隔时，系统似乎是稳定的。

Spark Streaming 创建者 Tathagata hs 提到了这一点:How jobs are assigned to executors in Spark Streaming? .