java - 如何在 hadoop-env.sh 中为 hadoop 守护进程单独定义内存

Question

据我所知，hadoop-env.sh 是 hadoop 守护进程设置环境的配置文件。在这个文件中，我如何定义 HADOOP_HEAPSIZE 是为守护进程定义堆大小的属性。这是否意味着它适用于所有守护进程，如名称节点、数据节点、任务跟踪器、作业跟踪器和辅助名称节点，每台机器都将占用 1000 MB 内存。如果是，那么我怎样才能让每一个都不同。

我在 hadoop-env.sh 中观察了以下几个条目

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS"export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"

这些条目是否为每个守护进程单独分配内存，如果是，那么什么是 -Dcom.sub.management.jmxremote 据我所知，java 堆内存分配的语法类似于 -Xmx m 。

任务跟踪器也在这里。什么是 Balancer。

Answer 1

-Dcom.sun.management.jmxremote 用于允许JMX 客户端访问。 http://docs.oracle.com/javase/7/docs/technotes/guides/management/agent.html

是的，您在问题中列出的选项在分别启动这些守护进程时用作 JVM 选项。所以 HADOOP_NAMENODE_OPTS 在名称节点守护进程启动时使用，HADOOP_DATANODE_OPTS 在数据节点守护进程启动时使用，等等。您可以向具有不同值的变量添加“-Xmx”选项，这样不同类型的守护进程将具有不同的堆大小。