hadoop - hdfs:在sparkR shell中读取Parquetfile时没有此类文件或目录错误

Question

我想从hdfs系统中读取sparkR shell 中的parquetFile。所以我这样做:

./sparkR --master yarn-client

 sqlContext <- sparkRSQL.init(sc)
 path<-"hdfs://year=2015/month=1/day=9"
 AppDF <- parquetFile(sqlContext, path)

错误: No such file or directory
但是这个文件确实存在于hdfs系统中。当我将此代码包装在dataframe.R之类的R文件中并运行 ./spark-submit --master yarn ~/dataframe.R 1000时。效果很好。所以我认为问题是通过sparkR shell在yarn-client上运行的。谁能帮助解决这个问题？

我正在使用spark-1.4.0-bin-hadoop2.6

Answer 1

我不确定这是否有帮助。您可能需要添加完整路径，包括defaultFS的主机名和端口，例如

path<-"hdfs://localhost:9000/year=2015/month=1/day=9"