apache-spark - Pyspark-将文件从本地(边缘节点)复制到HDFS位置时出错

Question

我正在尝试使用以下代码将文件从本地复制到pyspark中的HDFS位置。

sc = SparkSession.builder.appName("HDFSPySparkRead").getOrCreate()
sparkCont = sc.sparkContext
URI           = sparkCont._jvm.java.net.URI
Path          = sparkCont._jvm.org.apache.hadoop.fs.Path
FileSystem    = sparkCont._jvm.org.apache.hadoop.fs.FileSystem
Configuration = sparkCont._jvm.org.apache.hadoop.conf.Configuration


fs = FileSystem.get(URI("hdfs://gcgmwdcuat:8020"), Configuration())
fs.copyFromLocalFile('/home/ak18191/ar_new.txt', 'hdfs://gcgmwdcuat:8020/user/ak18191/')

出现错误:

py4j.Py4JException:方法copyFromLocalFile([class java.lang.String，class java.lang.String])不存在

我也尝试下面的代码

import subprocess
cmd = 'hdfs dfs -put -f /home/ak18191/ar_new.txt hdfs://gcgmwdcuat:8020/user/ak18191/'
subprocess.call(cmd)

但是获取文件未找到错误。该命令在spark-shell中成功执行。请帮忙!

Answer 1

copyFromLocalFile接受两个Path对象，而不是字符串

https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/fs/FileSystem.html