linux - 无法使用 hdfs dfs 命令复制 hdfs 中的数据

Question

我正在尝试通过 hdfs 复制数据。但没有一个命令对我不起作用。

我关注了online tutorial安装单节点集群。它安装正确，因为 $jsp 命令向我显示了所有 6 个作业。但是当我尝试将文件复制到 hdfs 时，它显示错误。

我正在运行的命令是

hduser@naren-Vostro-3560:~$ hdfs dfs -copyFromLocal /home/nare/Desktop/data/first.txt /app/hadoop/tmp

错误

14/12/30 02:18:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
copyFromLocal: '/app/hadoop/tmp': No such file or directory

我已授予输入文件(first.txt)的所有权限

naren@naren-Vostro-3560:~$ ls -al /home/naren/Desktop/data
total 3612
drwxrwxr-x 2 naren naren    4096 Dec 30 01:40 .
drwxr-xr-x 3 naren naren    4096 Dec 30 01:40 ..
-rwxrwxrwx 1 naren naren  674570 Dec 30 01:37 first.txt
-rwxrwxrwx 1 naren naren 1423803 Dec 30 01:39 second.txt
-rwxrwxrwx 1 naren naren 1573151 Dec 30 01:40 third.txt

hdfs 文件夹的权限对我来说也很合适

hduser@naren-Vostro-3560:~$ ls -l /app/hadoop
total 4
drwxr-x--- 5 hduser hadoop 4096 Dec 26 01:22 tmp

我是 Hadoop 和 Linux 的新手，并且被困在这里。我还尝试创建一个新目录

hduser@naren-Vostro-3560:~$ hadoop fs -mkdir -p /user/hduser/sample

它没有为我创建任何目录。

请让我知道哪里出错了。

提前致谢!!

Hadoop 版本:Hadoop 2.5.2操作系统:Ubuntu 14.04

Answer 1

您需要确保/app/hadoop 是在 hdfs 中创建的，而不是本地 fs。在检查目录时，使用 ls -l 检查与 hdfs 命名空间分开的本地文件系统。尝试 hadoop fs -ls/app/hadoop。如果不存在，则使用 hadoop fs -mkdir 创建它。 – 斯恩克赫夫