hadoop - 如何在 Spark2 中启用 spark.history.fs.cleaner？

Question

我的 Spark2 和 Spark 配置都有 spark.history.fs.cleaner.enabled = true。它适用于保持/spark-history/干净，但无法为/spark2-history 做任何事情。关于为什么它不起作用的任何想法？

Answer 1

spark.history.fs.cleaner.enabled Spark 属性控制定期清理磁盘上的事件日志的任务。

在你的问题中它是 spark.history.fs.cleaner=enabled 所以我认为问题出在 = 字符上。

---

另一个 spark.history.fs.cleaner.interval Spark 属性(默认值为 1d)控制清理器检查要删除的事件日志的频率。确保它足够频繁。