java - 如何告诉 hadoop 有多少内存分配给单个映射器作业？

Question

我已经创建了一个 Elastic MapReduce 作业，我正在尝试优化它的性能。

此时我正在尝试增加每个实例的映射器数量。我通过 mapred.tasktracker.map.tasks.maximum=X

elastic-mapreduce --create --alive --num-instance 3 \
 --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
 --args -s,mapred.tasktracker.map.tasks.maximum=5

每次我尝试将每个小实例的 X 设置为 2 以上时，初始化都会失败，由此我得出结论，hadoop 为每个映射任务分配了 800m 的内存。对我来说，这似乎太过分了。我希望它是 400 米的顶部。

我如何告诉 hadoop 为每个 map 任务使用更少的内存？

Answer 1

检查 mapred.child.java.opts属性(property)。它默认为 -Xmx200m，这意味着每个 map/reduce 任务有 200MB 的堆。

看起来像EC2 small有 1.7 GB 内存。这是 TaskTracker 节点上 Hadoop 进程默认设置的内存。感谢"Hadoop : The Definitive Guide"

数据节点 1,000 MB
任务跟踪器 1,000 MB
Tasktracker 子图任务 400 MB (2 * 200 MB)
Tasktracker 子图任务 400 MB (2 * 200 MB)

总计 2,800MB。

除此之外，还有操作系统内存。选择更好的配置或更改默认设置。仅供引用，这里是 recommendation关于不同节点的硬件配置。