hadoop - hdfs将数据分布式存储在datanode中

Question

我构建了 HDFS(2 个数据节点)。我将数据存储在 HDFS 的数据节点中。

我想使用两个数据节点平衡存储数据。但是当我使用 CLI (hadoop fs -put)

时，我只存储了一个数据节点

有没有人知道如何将数据准确地存储为两个单独的数据？

Answer 1

听起来你在问如何设置复制因子。如果你有 2 个数据节点，复制因子 2 将确保所有文件都存储在两个节点上。您可以在 Hadoop conf 目录中的 hdfs-site.xml 中进行设置。你想设置:

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

您还可以运行 setrep 命令来更改特定文件或目录的复制因子:

hadoop fs -setrep -R 2 <path>

-R 当然使它递归。