hadoop - LXC上的Cloudera安装dfs.datanode.max.locked.memory问题

Question

我已经在Mac机器上创建了虚拟盒子ubuntu 14.04LTS环境。
在ubuntu的虚拟框中，我创建了三个lxc容器的群集。一个用于主节点，另外两个用于子节点。

在主服务器上，我已经使用以下链接http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin开始安装CDH5。

我还在/ etc / hosts中进行了必要的更改，包括FQDN和主机名。还创建了名为“ubuntu”的无密码用户。

设置CDH5时，在安装过程中，我经常在数据节点上遇到以下错误。最大锁定内存大小:922746880字节的dfs.datanode.max.locked.memory大于数据节点的可用RLIMIT_MEMLOCK ulimit的65536字节。

Exception in secureMain: java.lang.RuntimeException: Cannot start datanode because the configured max locked memory size (dfs.datanode.max.locked.memory) of 922746880 bytes is more than the datanode's available RLIMIT_MEMLOCK ulimit of 65536 bytes.
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1050)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:411)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2297)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2184)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2231)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2407)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2431)

Answer 1

克鲁纳尔

该解决方案可能对您来说太迟了，但也许可以帮助其他人，所以现在就可以了。确保您的ulimit设置正确。但万一其配置问题。

去:

/run/cloudera-scm-agent/process/

查找最新的配置目录，
在这种情况下:

1016-hdfs-DATANODE 

在该目录中搜索参数:

grep -rnw . -e "dfs.datanode.max.locked.memory"
./hdfs-site.xml:163:    <name>dfs.datanode.max.locked.memory</name>

并将其值修改为您所期望的值(65536)