hadoop - 客户端机器上有哪些数据可用

Question

我知道客户端机器查询名称节点来存储它包含的数据。

此外，客户端计算机将在其中安装 Hadoop 和集群设置。

存在哪些集群设置？

Answer 1

每当调用 HDFS 命令时，客户端必须向 Namenode 发送请求，为此需要 fs.defaultFS 属性。同样，在提交 YARN 作业时，需要 yarn.resourcemanager.address 连接到 ResourceManager。

dfs.blocksize、dfs.replication 等文件级 HDFS 属性在客户端节点确定。如果需要更改它们的默认值，请在客户端节点添加相应的属性。

通常，在 Cluster 节点中定义的同一组配置属性(*-site.xml 文件)也将在 Client 节点中定义。在集群的所有节点(包括客户端节点)之间采用统一的集群设置被认为是最佳实践。