hadoop - 使用 jar 选项将作业提交到不同的公平调度程序池

Question

我是 Hadoop 的新手，尝试在运行时使用 hadoop jar 选项将同一用户的不同作业提交到公平调度程序的不同池。

基于 http://osdir.com/ml/hive-user-hadoop-apache/2009-03/msg00162.html 中的解决方案，我在运行作业时使用了 -D 选项。

具体来说，我运行了命令:bin/hadoop jar hadoop-examples-1.0.4.jar grep input output 'dfs[a-z.]+' -D pool.name=sample_pool

我可以在作业跟踪器调度程序页面中看到池，但作业仍提交给用户池。我发现 jar 选项不支持 -D 选项:http://hadoop.apache.org/docs/r1.0.4/commands_manual.html#job .

如何在运行时指定它？

Answer 1

一些建议:

• 在进行了第一个链接中建议的更改后，您是否重新启动了作业跟踪器？

• 您之前需要在其他参数之前设置所有 -D 属性(我不确定这在最近的版本中是否有所改变)。尝试:

  bin/hadoop jar hadoop-examples-1.0.4.jar -Dpool.name=sample_pool grep 输入输出 'dfs[a-z.]+'

如果可能无关紧要，但我总是将 -Dkey=value 选项组合起来(-D 和 key=value 之间没有空格)，我发现它更明显地表明这不是变量 args 列表的一部分。

验证是否已正确选择的一种方法是在作业跟踪器中检查作业的 job.xml - 它是否列出了 pool.name 属性，它是否具有您配置的值。

编辑 只需阅读示例如何捆绑，您就需要在程序名称之后和其他参数之前添加 -D:

`bin/hadoop jar hadoop-examples-1.0.4.jar grep -Dpool.name=sample_pool input output 'dfs[a-z.]+' `