hadoop - 使用 Hadoop fs --copyFromLocal 命令时没有这样的文件或目录错误

Question

我有一个本地 VM，上面安装了 Hortonworks Hadoop 和 hdfs。我从我的机器ssh'ed 进入虚拟机，现在我正尝试通过以下命令集将文件从我的本地文件系统复制到 hdfs:

[root@sandbox ~]# sudo -u hdfs hadoop fs -mkdir /folder1/
[root@sandbox ~]# sudo -u hdfs hadoop fs -copyFromLocal /root/folder1/file1.txt /hdfs_folder1/

当我执行它时，出现以下错误 - copyFromLocal:/root/folder1/file1.txt': No such file or directory

我可以在 /root/folder1/ 目录中看到该文件，但是使用 hdfs 命令时会抛出上述错误。我也尝试 cd 到 /root/folder1/ 然后执行命令但同样的错误出现了。为什么文件就在那里却找不到？

Answer 1

通过运行 sudo -u hdfs hadoop fs...，它会尝试将文件/root/folder1/file.txt 读取为 hdfs。

你可以做到这一点。

1. 运行 chmod 755 -R/root。它将递归地更改目录和文件的权限。但不建议开放根目录权限。
2. 然后您可以运行 copyFromLocal 作为 sudo -u hdfs 将文件从本地文件系统复制到 hdfs。

更好的做法是为 root 创建用户空间并直接以 root 身份复制文件。

1. sudo -u hdfs hadoop fs -mkdir/user/root
2. sudo -u hdfs hadoop fs -chown root:root/user/root
3. hadoop fs -copyFromLocal