garbage-collection - Hadoop .20 数据节点上的 "GC Overhead limit exceeded"

Question

我搜索过，但没有找到太多与 Hadoop Datanode 进程因超出 GC 开销限制而死掉相关的信息，所以我想我应该发布一个问题。

我们正在运行一项测试，我们需要确认我们的 Hadoop 集群可以处理存储在其上的约 300 万个文件(目前是一个 4 节点集群)。我们使用的是 64 位 JVM，我们已经为名称节点分配了 8g。然而，当我的测试程序向 DFS 写入更多文件时，数据节点开始因以下错误而消失:线程“DataNode: [/var/hadoop/data/hadoop/data]”中的异常 java.lang.OutOfMemoryError: GC overhead limit exceeded

我看到了一些关于某些选项的帖子(并行 GC？)我想可以在 hadoop-env.sh 中设置，但我不太确定语法，而且我是个新手，所以我没有不太了解它是如何完成的。感谢您的帮助!

Answer 1

尝试使用此方法增加数据节点的内存:(需要重新启动 hadoop 才能工作)

export HADOOP_DATANODE_OPTS="-Xmx10g"

这会将堆设置为 10gb...您可以根据需要增加。

您也可以将其粘贴到 $HADOOP_CONF_DIR/hadoop-env.sh 文件的开头。