apache-spark - Spark CSV IOException Mkdirs 无法创建文件

Question

长话短说

Spark 1.6.1 无法在没有 HDFS 的独立集群上使用 Spark CSV 1.4 写入 CSV 文件，IOException Mkdirs 无法创建文件

更多详情:

我正在开发一个 Spark 1.6.1 应用程序，该应用程序使用本地文件系统(我正在运行的机器上什至没有 HDFS)和 Scala 在独立集群上运行。我有这个数据框，我正在尝试使用 HiveContext 将其另存为 CSV 文件。

这是我正在运行的:

exportData.write
      .mode(SaveMode.Overwrite)
      .format("com.databricks.spark.csv")
      .option("delimiter", ",")
      .save("/some/path/here") // no hdfs:/ or file:/ prefix in the path

我使用的 Spark CSV 是 1.4。运行此代码时出现以下异常:

WARN  TaskSetManager:70 - Lost task 4.3 in stage 10.0: java.io.IOException: Mkdirs failed to create file: /some/path/here/_temporary/0

完整的堆栈跟踪是:

at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
        at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:428)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:801)
        at org.apache.hadoop.mapred.TextOutputFormat.getRecordWriter(TextOutputFormat.java:123)
        at org.apache.spark.SparkHadoopWriter.open(SparkHadoopWriter.scala:91)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1193)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1185)
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
        at org.apache.spark.scheduler.Task.run(Task.scala:89)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

输出目录确实已创建，但它是空的。

我尝试使用 spark shell 运行它，我所做的是创建一个虚拟数据框，然后使用完全相同的代码保存它(也保存到相同的路径)。成功了。

我检查了我正在写入的文件夹的权限并将其更改为 777 但基本上它在运行 Spark 作业时仍然不起作用

谷歌搜索建议:

• 通过删除我没有的 hdfs:/来更改文件前缀。我还尝试添加 file:/, file://, file:///前缀，但没有成功
• 权限问题 - 我尝试通过将文件夹设为 777 来解决此问题
• 一些 MacBook 问题可能与我无关，因为我正在使用 Ubuntu
• 安全问题 - 检查我的堆栈跟踪，我找不到任何安全故障。
• 删除文件路径开头的/前缀 - 我也试过了，但没有成功
• 关于这个问题的其他未回答的问题

有人知道问题到底是什么吗？以及如何克服它？

提前致谢

Answer 1

好的，所以我找到了问题，我希望这对其他人有帮助

显然，我正在运行的机器上安装了 hadoop。当我运行 hadoop version 时，它输出:Hadoop 2.6.0-cdh5.7.1 这与我的 Spark 版本冲突

此外，我不太确定它是否相关，但我是从 root 而不是 Spark 用户运行 spark，这可能导致了一些权限问题

将 hadoop 版本与我们的 spark 匹配后(在我们的例子中，我们将 Spark 匹配为 cloudera 的 Spark)并以 Spark 用户身份运行代码，此故障停止发生