hadoop - 在哪里设置配置mapreduce.job.jvm.numtasks？

Question

我在一本书(Professional Hadoop Solutions)中读到，可以通过指定作业配置 mapreduce.job.jvm.numtasks 来启用 JVM 重用。我的问题是我们需要在 Driver 类中设置它吗？

我尝试在 mapreduce.Job 对象中查找此配置，但没有找到。这个 API 可以在我使用的 Hadoop 版本的其他地方被替换吗？还是我没有找对地方？我使用的是 Hadoop 版本 1.0.3。

我还尝试寻找旧属性 mapred.job.reuse.jvm.num.tasks，但我找不到。

谢谢!

Answer 1

您的来源指的是更新的 Hadoop 2.x (YARN) Hadoop 配置 API。在向 YARN 的转变中，许多配置名称已被修改。更改记录在案 here在 the offical site 上用于相关的 Hadoop 版本(在本例中由 Amazon 的 Elastic MapReduce 采用版本 2.4.0)。

它明确提到旧配置名称 mapred.job.reuse.jvm.num.tasks 已被新名称 mapreduce.job.jvm.numtasks 取代。

此外还有 MapReduce 的文档 default configuration对 mapreduce.job.jvm.numtasks 说:

How many tasks to run per jvm. If set to -1, there is no limit.

Hadoop 1.2.1 的默认配置(与 1.0.3 兼容的配置 API)可以在 GrepCode 上找到。例如。

关于你的问题，在哪里设置这个属性。可以设置它

• 对于 ${HADOOP_CONF_DIR}/mapred-site.xml 中的整个集群，
• 或者您在 Job(或 JobContext)的配置中指定它，只要它没有在您的集群中声明为 final:job.getConfiguration().set("mapred.job.reuse.jvm.num.tasks","-1");