hadoop - Hadoop config-hdfs-site.xml:我应该在namenode和datanode上使用相同的文件吗？

Question

在分布式Hadoop集群上，我可以将相同的hdfs-site.xml文件复制到namenodes和datanodes吗？

我见过的一些设置说明(即Cloudera)说在datanode上的此文件中具有dfs.data.dir属性，在namenode上的该文件中具有dfs.name.dir属性。这意味着我应该有hdfs-site.xml的两个副本，一个用于namenode，一个用于datanode。

但是，如果全部相同，我宁愿拥有/维护该文件的一个副本，并在每次更改它时将其推送到所有节点。
在同一文件中同时具有dfs.name.dir和dfs.data.dir属性是否有危害/风险？如果数据节点看到“dfs.name.dir”的属性，可能会发生什么问题？
如果有问题，namenode上的hdfs-site.xml文件中应该有哪些其他属性，而datanode上没有？反之亦然。

最后，我复制到客户端计算机(不是tasktracker或datanode，而只是与Hadoop集群通信)的hdfs-site.xml文件中需要包含哪些属性？

我四处搜寻，包括O'reilly操作手册，但找不到任何好的文章来描述配置文件在不同节点之间的差异。
谢谢!

Answer 1

名称节点是从主文件中拾取的，因此，即使您复制相同的hdfs-site.xml，本质上，FSimage和编辑日志也将仅写入名称节点，而不写入数据节点。

对于第二个问题..您不必与hdfs进行通信，而不必直接在群集上。如果您想拥有一个远程客户端，则可以尝试使用webhdfs并创建某些Web服务，使用这些服务可以在hdfs中写入或访问文件