java - 亚马逊电子病历 : Passing java system property to custom jar

Question

Amazon EMR 是否允许将系统属性传递给自定义 jar，例如hadoop jar -Dkey=value myjob.jar? (上面的key，value在应用程序本身的初始化期间使用，而不是属于hadoop的Configuration对象。)

相关话题How to specify mapred configurations & java options with custom jar in CLI using Amazon's EMR?讨论了仅通过引导操作将系统属性传递给 hadoop 守护进程的方法，显然，这不允许对 java 入口点类执行相同的操作。

Answer 1

如果您不想将 传递给映射器或缩减器，您可以在终端或脚本中执行以下操作 -

export HADOOP_OPTS="-Dkey=value"
hadoop jar ...

您也可以将它们放在 $HADOOP_HOME/conf/hadoop-env.sh 中，如果您希望每个作业都使用它，而无需在每次运行作业时都明确定义它们。

希望这是有道理的。