Hadoop 集群。数据在集群数据节点之间自动复制

Question

1. 在 Hadoop 集群中，数据是自动跨数据节点复制还是必须编程？

2. 如果必须编程，那我该怎么做呢？

Answer 1

1. dfs.replication 的默认值为 3。这存在于您的 hdfs.site.xml 中。配置文件。这意味着当您设置 hadoop 集群时，它会自动配置为将每个 block 复制三次。

2. 可以通过以下方式修改:

   • 您可以在 hdfs-site.xml 中更改 dfs.replication 的值并将其设置为您想要的整数(1 表示没有副本)

   • 您可以使用命令 setrep 将复制因子作为每个文件的值传递:

     hadoop fs -setrep -w 3/user/hadoop/file.txt

     这将复制 file.txt 3 次。