hadoop - 混淆 HDFS 'pwd' 等价物

Question

首先，我已经阅读了这篇文章:Is there an equivalent to `pwd` in hdfs? .它说 HDFS 中没有这样的“密码”。

但是，随着我按照 Hadoop: Setting up a Single Node Cluster 的说明进行操作，我在这个命令上失败了:

$ bin/hdfs dfs -put etc/hadoop input
put: 'input': No such file or directory

很奇怪，我第一次成功执行此命令我按照说明进行操作，但第二次失败。同样奇怪的是，我在我 friend 的计算机上成功执行此命令，该计算机具有与我相同的系统(Ubuntu 14.04)和 hadoop 版本(2.7.1)。

谁能解释一下这里发生了什么？毕竟 HDFS 中有一些“密码”吗？

Answer 1

首先，您尝试使用 VM/HDFS 中不存在的用户运行命令 $ bin/hdfs dfs -put etc/hadoop input br/>让我用HDP VM

中的以下示例清楚地向您解释

[root@sandbox hadoop-hdfs-client]# bin/hdfs dfs -put /etc/hadoop input
put: `input': No such file or directory 

这里我用 root 用户执行命令，它不存在于 HDP VM 中。 checkin 以下命令以列出用户

[root@sandbox hadoop-hdfs-client]# hadoop fs -ls /user
Found 8 items
drwxrwx---   - ambari-qa hdfs           0 2015-08-20 08:33 /user/ambari-qa
drwxr-xr-x   - guest     guest          0 2015-08-20 08:47 /user/guest
drwxr-xr-x   - hcat      hdfs           0 2015-08-20 08:36 /user/hcat
drwx------   - hive      hdfs           0 2015-09-04 09:52 /user/hive
drwxr-xr-x   - hue       hue            0 2015-08-20 09:05 /user/hue
drwxrwxr-x   - oozie     hdfs           0 2015-08-20 08:37 /user/oozie
drwxr-xr-x   - solr      hdfs           0 2015-08-20 08:41 /user/solr
drwxrwxr-x   - spark     hdfs           0 2015-08-20 08:34 /user/spark

在HDFS中，如果你想复制一个文件并且没有提到目标参数的绝对路径，它会考虑home登录用户并将您的文件放在那里。此处未找到 root 用户。

现在让我们切换到hive用户和测试

[root@sandbox hadoop-hdfs-client]# su hive
[hive@sandbox hadoop-hdfs-client]$ bin/hdfs dfs -put  /etc/hadoop input
[hive@sandbox hadoop-hdfs-client]$ hadoop fs -ls /user/hive
Found 1 items
drwxr-xr-x   - hive hdfs          0 2015-09-04 10:07 /user/hive/input

耶..成功复制..

希望对您有所帮助..!!!