hadoop - 映射器可以知道正在运行多少个映射器吗？

Question

在hadoop Map-Reduce框架中，当应用程序正在运行时，可以知道程序中正在运行的工作程序数量。工作程序的数量与文件拆分的数量相同，换句话说，是否可以动态知道文件拆分的数量？

Answer 1

可以通过mapred.map.tasks和mared.reduce.tasks配置属性(一旦提交了作业)来查询构成该作业的 map task 和化简任务的总数。

如果您查看源代码，可以看到它已在org.apache.hadoop.mapred.JobClient:784中设置(是的，分割数相同)

// Create the splits for the job
LOG.debug("Creating splits at " + fs.makeQualified(submitSplitFile));
int maps;
if (job.getUseNewMapper()) {
  maps = writeNewSplits(context, submitSplitFile);
} else {
  maps = writeOldSplits(job, submitSplitFile);
}
job.set("mapred.job.split.file", submitSplitFile.toString());
job.setNumMapTasks(maps); // here is where mapred.map.tasks is set