apache-spark - 文件已经存在pyspark

Question

我找不到在 hadoop pyspark 中删除 hdfs 输出文件的方法。使用命令:

hadoop fs -rmdir "path/outputFile.csv"

当我运行具有相同输出文件名的新作业时，我收到错误 FileAlreadyExist。

有人知道如何处理这种情况吗？提前致谢

Answer 1

在命令行中，您可以使用命令:

hdfs dfs rm -r /path/to/myDir/

在 Spark 中，您可以(在 Scala 中):

import org.apache.hadoop.fs.{FileSystem,Path}
import java.net.URI

val dirPath = "/path/to/my/dir/"
val fileSystem = FileSystem.get(URI.create(dirPath), sqlContext.sparkContext.hadoopConfiguration)
fileSystem.delete(new Path(dirPath), true)