csv - 不完整的 HDFS URI，没有主机

Question

我正在尝试通过 PySpark 从 HDFS 读取一个 csv 文件。我正在使用以下代码:

path='hdfs://XX.XX.XX.XX:X000'

myrdd=sc.textFile(path)

可以正常读取文件。但是，稍后当我尝试将其转换为数据框时出现以下错误:

Py4JJavaError:调用 o423.partitions 时出错。: java.io.IOException: 不完整的 HDFS URI，没有主机:hdfs://XX.XX.XX.XX:X000

我用来创建数据框的代码是:

from pyspark import Row
instance=Row('feature1', 'feature2')
ins=myrdd.map(lambda r: instance(*r))
df = hc.createDataFrame(ins)
df.collect()

只是提一下，如果我稍微更改一个实际不存在的文件的路径，假文件仍然可以以某种方式读取，这让我觉得真实文件有问题但我不完全当然可以。这可能是配置问题吗？

Answer 1

在我的实例中，我必须提供完整路径，即

val file = sc.textFile("hdfs://localhost:9000/user/$username/input/file.csv")