java - Hadoop 文件系统中目录的路径是什么？

Question

最近开始学习Hadoop和Mahout。我想知道 Hadoop 文件系统目录中目录的路径。

在 hadoop-1.2.1/conf/core-site.xml 中，我指定了:

<property>
  <name>hadoop.tmp.dir</name>
  <value>/Users/Li/File/Java/hdfstmp</value>
  <description>A base for other temporary directories.</description>
</property>

在 Hadoop 文件系统中，我有以下目录:

lis-macbook-pro:Java Li$ hadoop fs -ls
Found 4 items
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:25 /user/Li/output
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:24 /user/Li/temp
drwxr-xr-x   - Li supergroup          0 2013-11-06 14:50 /user/Li/tweets-seq
-rw-r--r--   1 Li supergroup    1979173 2013-11-05 15:50 /user/Li/u.data

现在/user/Li/output 目录在哪里？

我试过:

lis-macbook-pro:usr Li$ cd /user/Li/output
-bash: cd: /user/Li/output: No such file or directory

所以我认为/user/Li/output 是相对路径而不是绝对路径。

然后我在/Users/Li/File/Java/hdfstmp 中搜索它。有两个文件夹:

dfs

映射

但我仍然无法在/Users/Li/File/Java/hdfstmp 中找到/user/Li/output。

Answer 1

您对 hadoop fs -ls 的第一次调用是相对目录列表，对于当前用户来说，通常根目录位于名为 /user/${user.name} 的目录中在 HDFS 中。所以你的 hadoop fs -ls 命令列出了相对于这个位置的文件/目录 - 在你的例子中是 /user/Li/

您应该能够通过运行 aboolute 列表来断言这一点并确认内容/输出匹配:hadoop fs -ls/user/Li/

由于这些文件在 HDFS 中，您将无法在本地文件系统中找到它们 - 它们作为 block (对于真实文件)和元数据条目(对于文件和目录)在 NameNode 中分布在您的集群节点中.