hadoop - 在 hadoop 中更改目录的复制因子

Question

当我希望更改适用于将来写入该目录的文件时，是否有任何方法可以更改 Hadoop 中目录的复制因子？

Answer 1

您可以使用命令更改文件的复制因子:

hdfs dfs –setrep –w 3 /user/hdfs/file.txt 

您还可以使用命令更改目录的复制因子:

hdfs dfs -setrep -R 2 /user/hdfs/test

但更改目录的复制因子只会影响现有文件，目录下的新文件将使用默认复制因子创建(dfs.replication from hdfs-site.xml)集群的。

请参阅link了解更多。

请参阅link为 HDFS 配置复制因子。

但是您可以通过以下方式临时覆盖和关闭 HDFS 默认复制因子:

-D dfs.replication=1

当您将它与 Map/Reduce 作业一起传递时，这应该会很好地工作。这将仅针对您的工作。