azure - 将 Parquet 文件写入本地磁盘时出错

Question

我正在本地磁盘上写入 Spark 数据帧，但无法将其读回。

val path = "file:///mnt/resources/....."
df.write.parquet(path) 
val d = spark.read.parquet(path)

我收到以下错误:

org.apache.spark.sql.AnalysisException: Unable to infer schema for Parquet. It must be specified manually.;

我可以在 Azure Datalake 或存储中读写，但不能使用本地磁盘。有人面临同样的问题吗？怎么解决呢？我也使用 .csv 文件进行了测试，在这种情况下，它说该文件不存在，即使我在登录工作节点时可以看到该文件。

Answer 1

TL;DR写入本地文件系统仅对本地模式下的测试有用。

使用集群部署时，不应使用本地文件系统进行写入。在这种情况下，每个执行器都写入自己的文件系统，之后就不可能实现一致的读取。