hadoop - MRv1 和 MRv2 参数

Question

完整的参数列表(针对 Hadoop-2.6)在 link 上给出

但是您可以以 MRv1 或 MRv2 样式执行作业。我认为有些参数仅适用于 MRv1，例如 mapreduce.tasktracker.map.tasks.maximum，这是真的 ？如果是，那么有没有更聪明的方法来计算所有这些参数？我们可以通过 -Dproperty=value 或 -D property=value 传递所有参数，还是有任何我不能像这样传递的参数？

Answer 1

在 MR2 中，map 任务的数量将由资源管理器根据分配给每个容器的内存动态计算。

来自霍顿工厂

使用 YARN 和 MapReduce 2，不再有用于 Map 和 Reduce 任务的预配置静态槽。整个集群可用于根据作业需要动态分配Maps和Reduces

此页面有更多信息。检查这个 http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

您可以从命令行使用 -D property = value 传递任何参数。对此没有限制。但是如果这些属性由开发人员在代码中设置，则命令行属性将被作业覆盖。