hadoop - hdfs-site.xml 上的配置属性是否适用于 hadoop 中的 NameNode？

Question

最近搭建了一个hadoop的测试环境集群-一主两从

Master 不是 dataNode(尽管有些使用 master 节点作为主节点和从节点)。所以基本上我有 2 个数据节点。复制的默认配置是 3。最初，我没有更改 conf/hdfs-site.xml 上的任何配置。我遇到错误 could only be replicated to 0 nodes instead of 1。然后我在我的主从中更改了 conf/hdfs-site.xml 中的配置，如下所示:

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

瞧!一切正常。我的问题是:尽管我更改了所有数据节点和名称节点中的 hdfs-site.xml，但此配置是否适用于名称节点或数据节点。

如果我的理解是正确的，NameNode 为数据节点分配 block 。因此 master 或 NameNode 中的复制配置很重要，可能在 datanodes 中不需要。这是正确的吗？

我对hadoop框架中不同xml的实际用途感到困惑:从我的一点理解:

1) core-site.xml - 整个框架的配置参数，例如日志文件应该放在哪里，文件系统的默认名称是什么等

2) hdfs-site.xml - 适用于单个数据节点。有多少复制，数据节点本地文件系统中的数据目录， block 的大小等

3) mapred-site.xml - 适用于数据节点并为任务跟踪器提供配置。

如有错误请指正。这些配置文件在我的教程中没有很好的解释。所以它来 self 在默认情况下查看这些文件。

Answer 1

这是我的理解，可能有误。

{hdfs-site.xml} - 用于 HDFS(Hadoop 分布式文件系统)的属性{mapred-site.xml} - 用于 MapReduce 的属性{core-site.xml} - 用于涉及 HDFS 和 MapReduce 的其他属性