hadoop - 不在 JobConf 中设置 Hadoop 作业名称

Question

我正在编写一个小型 Web 界面以允许用户提交 YARN 作业。我想让他们能够为自己的工作命名，以便日后观察他们的进展。

使用的 jar 总是相同的，它只是对不同的输入数据进行操作。目前我在我的 run() 方法中将作业名称设置为一个常量值。

我要找的是类似hadoop jar myjar.jar --jobName=MyJob *myParameters

这可能吗？

Answer 1

你尝试过简单的

-Dmapred.job.name=your_job_name

命令行选项？

当然，这意味着您使用了 ToolRunner，因此您的主要功能如下所示:

public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new Driver(), args);
    System.exit(exitCode);
}

然后添加类似的内容:

Configuration conf = getConf();
Job job = new Job(conf, conf.get("job.name"));

在你的运行函数中创建你的工作