scala - 如何更有效地从 spark 重命名 hdfs 中的文件？

Question

我有 450K 个 JSON，我想根据某些规则在 hdfs 中重命名它们。为了简单起见，我只是为它们中的每一个添加一个后缀 .finished 。A 成功地做到了这一点，代码如下:

import org.apache.hadoop.fs._

val hdfs = FileSystem.get(sc.hadoopConfiguration)
val files = hdfs.listStatus(new Path(pathToJson))
val originalPath = files.map(_.getPath())

for(i <- originalPath.indices)
{
   hdfs.rename(originalPath(i), originalPath(i).suffix(".finished"))
}

但是重命名它们需要 12 分钟。有没有办法让它更快？ (也许并行化)我使用 spark 1.6.0。

Answer 1

原始路径.par.foreach( e => hdfs.rename(e,e.suffix("finish")))