apache-spark - Py4JJavaError : An error occurred while calling o389..csv

Question

我是 pyspark 的新手。我正在使用数据 block 运行 pyspark。我的数据存储在 Azure Data Lake Service 中。我正在尝试将 csv 文件从 ADLS 读取到 pyspark 数据框。所以我写了下面的代码

import pyspark
from pyspark import SparkContext 
from pyspark import SparkFiles

df = sqlContext.read.csv(SparkFiles.get("dbfs:mycsv path in ADSL/Data.csv"), 
   header=True, inferSchema= True)

但是我收到错误信息

Py4JJavaError: An error occurred while calling o389.csv.

你能建议我纠正这个错误吗？

Answer 1

SparkFiles 类用于访问作为 Spark 作业的一部分提供的文件。如果您只需要访问 ADLS 上可用的 CSV 文件，则只需使用 spark.read.csv，例如:

df = spark.read.csv("dbfs:mycsv path in ADSL/Data.csv", 
  header=True, inferSchema=True)

最好不要使用sqlContext，它是出于兼容性原因保留的。