hadoop - jobconf 和 job 之间的基本区别是什么？

Question

嗨，我想知道 jobconf 和工作对象之间的基本区别，目前我正在这样提交我的工作

JobClient.runJob(jobconf);

我看到了像这样提交工作的其他方式

Configuration conf = getConf();
Job job = new Job(conf, "secondary sort");
job.waitForCompletion(true);     
return 0;

我如何使用 jobconf 为作业指定 sortcomparator 类？

谁能给我解释一下这个概念？

Answer 1

简而言之:JobConf 和 org.apache.hadoop.mapred 包中的所有其他内容都是用于编写 hadoop 作业的旧 API 的一部分，Job 和 org.apache.hadoop.mapreduce 包中的所有内容都是用于编写 hadoop 作业的新的首选 API 的一部分。这两种 API 通常提供等效的核心功能。

如果您是 hadoop 的新手，只需开始使用新的 API(即 Job 和 Configuration 而不是 JobConf)。确保不要从 mapred 包中导入任何内容。当您在互联网上找到使用旧 API 的示例时，您可以使用 this presentation或 this guide将其转换为新的 API。