hadoop - 文件或目录如何存储在 hadoop hdfs 中

Question

我已经使用下面的命令在 hdfs 中创建了一个文件

hdfs dfs -touchz /hadoop/dir1/file1.txt

我可以使用下面的命令查看创建的文件

hdfs dfs -ls /hadoop/dir1/

但是，我无法使用 linux 命令(使用 find 或 locate)找到位置本身。我在互联网上搜索并找到了以下链接。 How to access files in Hadoop HDFS? .它说，hdfs是虚拟存储。在那种情况下，它如何划分需要使用哪个或多少，元数据存储在哪里

我在hdfs-site.xml中提到的虚拟存储是否采用datanode位置来存储所有数据？

我查看了数据节点的位置，并且有可用的文件。但是我找不到与我创建的文件或文件夹相关的任何内容。

(我使用的是 hadoop 2.6.0)

Answer 1

HDFS 文件系统是一种分布式存储系统，其中存储位置是虚拟的，并使用来自所有 DataNode 的磁盘空间创建。安装 hadoop 时，必须为 dfs.namenode.name.dir 和 dfs.datanode.data.dir 指定路径。这些是所有 HDFS 相关文件存储在各个节点上的位置。

在将数据存储到 HDFS 时，它存储为指定大小的 block (在 Hadoop 2.X 中默认为 128MB)。当您使用 hdfs dfs 命令时，您将看到完整的文件，但在内部 HDFS 将这些文件存储为 block 。如果您检查本地文件系统上的上述路径，您将看到一堆与 HDFS 上的文件相对应的文件。但同样，您不会将它们视为实际文件，因为它们被分成 block 。

检查下面提到的命令的输出，以获取有关每个 DataNode 有多少空间用于创建虚拟 HDFS 存储的更多详细信息。

hdfs dfsadmin -report #Or

sudo -u hdfs hdfs dfsadmin -report

HTH