gpt4 book ai didi

python - 使用pydoop将文件复制到hdfs

转载 作者:可可西里 更新时间:2023-11-01 15:18:47 29 4
gpt4 key购买 nike

我正在尝试编写用于将文件复制到 hdfs 的 python 脚本。我在 ubuntu 上工作并安装了 hadoop 和 pydoop。以下代码是我的脚本:

import pydoop.hdfs as hdfs

class COPYTOHDFS():

local_path = '/home/user/test.txt'
hdfs_path = '/testfile'
host = 'master'
port = 9000
hdfsobj = hdfs.hdfs(host, port, user='cloudera-user', groups=['supergroup'])
hdfsobj.copy(local_path, hdfsobj, hdfs_path)

错误在这里:

Traceback (most recent call last):
File "COPYTOHDFS.py", line 3, in <module>
class COPYTOHDFS():
File "COPYTOHDFS.py", line 10, in COPYTOHDFS
hdfsobj.copy(local_path, hdfsobj, hdfs_path)
File "/usr/local/lib/python2.7/dist-packages/pydoop-0.5.2_rc2-py2.7-linux-x86_64.egg/pydoop/hdfs.py", line 458, in copy
return super(hdfs, self).copy(from_path, to_hdfs, to_path)
IOError: Cannot copy /home/user/test.txt to filesystem on master

错误没有详细说明。有什么想法吗?

最佳答案

在您的 conf/core-site.xml 中,您应该为 fs 操作设置 tmp 目录。如果您忘记在这些目录上设置运行用户的所有权和权限,则会出现 IO 异常,请检查。

关于python - 使用pydoop将文件复制到hdfs,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10380496/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com