hadoop - 如何在hadoop配置中为datanode分配内存

Question

我们有一个以下要求。

我们总共有5台服务器，这些服务器将用于构建Bigdata Hadoop数据仓库系统(我们将不使用任何发行版，如cloudera，hortonworks等)。

所有服务器配置均为512GB RAM，30TB存储和16核，Ubuntu Linux 14.04LTS服务器

我们将在所有服务器上安装hadoop。 Server3、4、5将完全将它们用于datanode(从机)，而server1将具有Active Namenode和Datanode。 Server2将具有备用Namenode和datanode。

我们想在配置hadoop时为Namenode配置300GB RAM，为datanode配置212GB RAM。

谁能帮我怎么做。 hadoop中的哪个配置文件需要更改。我们需要在hadoop配置文件中配置哪些参数。

感谢致敬，
苏雷什·皮切皮皮莱(Suresh Pitchaipillai)

Answer 1

您可以从cloudera管理器(如果使用的是CDH)或从Ambari(如果使用的是Hortonworks)设置这些属性。

另外，您不需要300GB用于Namenode，因为namenode仅存储metadat。大致来说，1GB的namenode堆可以存储100万个块的元数据(块大小= 128MB)。
此处有更多详细信息:https://issues.apache.org/jira/browse/HADOOP-1687