java - Spark 蓄能器复位

Question

有没有一种方法可以通过驱动程序重置 spark Accumulator，以便 executors Accumulator 也将被清理。

我有一个实际上是列表的累加器>所有执行者将元组添加到累加器中，驱动程序读取它。问题是执行程序堆被填满了。

当驱动程序读取所有数据时，执行程序不需要本地数据。

谢谢

Answer 1

我想知道您是否尝试过使用 Accumulators 的公共(public)方法 setValue() 由驱动程序重置 Accumulator。

You might be able to use this, i.e. setValue() method, to reset accumulators’ values to smaller objects (e.g. the “zero” object of whatever your accumulator type is, or ‘null’ if you’re sure that the accumulator will never be accessed again).

来自 https://issues.apache.org/jira/browse/SPARK-3885