apache-spark - Spark RDD.saveAsTextFile 异步

Question

我有一个很大的 RDD，需要花费很多时间来收集。我想通过使用 mapPartitionsWithIndex 将每个分区的内容写入一个文本文件。但这不是异步方法。

有没有人知道如何异步写出 RDD 内容？

Answer 1

所有 Spark RDD 操作都是同步的。 AsyncRDDActions 提供其中一些的异步版本，但不提供 saveAsTextFile。自己将其包装在 Future 中是微不足道的:

def saveAsync(rdd: RDD[String], path: String) = concurrent.Future {
  rdd.saveAsTextFile(path)
}