hadoop - Hadoop:如何正确设置HADOOP_YARN_HOME

Question

我正在尝试用 yarn 设置hadoop。

默认的yarn.application.classpath属性设置如下。
yarn.application.classpath

<value>
   $HADOOP_CONF_DIR,
   $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
   $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
   $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
   $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*,
</value>

使用此配置，所有MR作业均失败。如果我用它代替(用HADOOP_YARN_HOME代替它的值)，一切正常。

<name>yarn.application.classpath</name>
<value>
   $HADOOP_CONF_DIR,
   $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
   $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
   $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
   /usr/lib/hadoop-yarn/*,/usr/lib/hadoop-yarn/lib/*,
</value>

因此，我怀疑resourcemanager在某处设置了错误的$ HADOOP_YARN_HOME值。我尝试将其设置在yarn-env.sh，hadoop-env.sh和/ etc / default / hadoop-yarn中，但是作业始终失败。

我的问题是，我必须在哪里设置$ HADOOP_YARN_HOME变量？

P.D.我正在使用CDH5。

Answer 1

您可以在属于该特定用户的 .bashrc 文件中设置配置变量。
希望对您有所帮助。