hadoop - Hadoop copyFromLocal 是否创建 2 个副本？ - 1 个在 hdfs 内部，其他在 datanode 内部？

Question

我在安装在 windows10 上的 vmware 中的 Ubuntu 上安装了伪分布式独立 hadoop 版本。

我从网上下载了一个文件，复制到ubuntu本地目录/lab/data

我在 ubuntu 中创建了名为 namenodep 和 datan1 的 namenode 和 datanode 文件夹(不是 hadoop 文件夹)。我还在 hdfs 中创建了一个文件夹作为/input。

当我将文件从 ubuntu 本地复制到 hdfs 时，为什么该文件存在于以下两个目录中？

$ hadoop fs -copyFromLocal /lab/data/Civil_List_2014.csv /input

$hadoop fs -ls /input/
input/Civil_List_2014.csv   ?????

$cd lab/hdfs/datan1/current
blk_3621390486220058643   ?????
blk_3621390486220058643_1121.meta

基本上我想知道它是否创建了 2 个副本，一个在 datan1 文件夹中，另一个在 hdfs 中？

谢谢

Answer 1

没有。只创建一个副本。

当您在 HDFS 中创建文件时，文件的内容存储在数据节点的其中一个磁盘上。 Data Node存储数据的磁盘位置由配置参数决定:dfs.datanode.data.dir(存在于hdfs-site.xml中)

检查这个属性的描述:

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///e:/hdpdatadn/dn</value>
    <description>Determines where on the local filesystem an DFS data node
    should store its blocks.  If this is a comma-delimited
    list of directories, then data will be stored in all named
    directories, typically on different devices.
    Directories that do not exist are ignored.
    </description>
    <final>true</final>
  </property>

以上，您的文件 HDFS 文件“/input/Civil_List_2014.csv”的内容存储在物理位置:lab/hdfs/datan1/current/blk_3621390486220058643。

“blk_3621390486220058643_1121.meta”包含存储在“blk_3621390486220058643”中的数据的校验和。

这个文件可能小到可以放在一个文件中。但是，如果文件很大(假设 > 256 MB 且 Hadoop block 大小为 256 MB)，则 Hadoop 会将文件的内容拆分为“n”个 block 并将它们存储在磁盘上。在这种情况下，您将在数据节点的数据目录中看到“n”个“blk_*”文件。

此外，由于复制因子通常设置为“3”，因此会创建同一 block 的 3 个实例。