hadoop - 灵活的堆空间分配给 Hadoop MapReduce Mapper 任务

Question

我无法找到配置运行 MapReduce1 的 Hadoop 集群 (CDH4) 的最佳方法。我处于这样一种情况，我需要运行两个需要大量 Java 堆空间的映射器，以至于我不可能在每个节点上运行超过 1 个映射器——但同时我希望能够运行作业这可以受益于每个节点的许多映射器。

我正在通过 Cloudera 管理 UI 配置集群，Max Map Tasks 和 mapred.map.child.java.opts 似乎是相当静态的设置。

我想要的是一个类似堆空间池的东西，有 X GB 可用，它可以容纳这两种作业，而不必每次都重新配置 MapReduce 服务。如果我运行 1 个映射器，它应该分配 X GB 堆 - 如果我运行 8 个映射器，它应该分配 X/8 GB 堆。

我已经考虑了最大虚拟内存和 Cgroup 内存软/硬限制，但两者都无法满足我的要求。最大虚拟内存无效，因为它仍然是每个任务的设置。 Cgroup 设置是有问题的，因为如果有更多任务，它似乎实际上并没有将单个任务限制在较少的堆中，而是允许任务使用过多内存，然后在它使用时终止进程。

可以配置我想要实现的行为吗？

Answer 1

(请注意，对于 Hadoop 2/CDH4，您应该使用此属性的较新名称:mapreduce.map.java.opts。但两者仍应被识别。)

您在集群中配置的值只是默认值。它可以在每个作业的基础上被覆盖。您应该保留 CDH 的默认值，或将其配置为适合法线映射器的值。

仅对于您的高内存作业，在您的客户端代码中，在您的 Configuration 对象中为 Job mapreduce.map.java.opts，然后再提交。

如果您正在运行 MR2/YARN，答案会变得更加复杂，因为它不再按“插槽”而是按容器内存进行调度。所以内存以一种新的、不同的方式进入画面，具有新的、不同的属性。 (这让我很困惑，我什至在 Cloudera。)

在某种程度上它会更好，因为你用内存来表达你的资源需求，这在这里很好。您也可以将 mapreduce.map.memory.mb 设置为比 JVM 堆大小大 30% 左右的大小，因为这是允许用于整个进程的内存。对于高内存作业，您会以相同的方式将其设置得更高。然后 Hadoop 可以决定运行多少映射器，并决定将工作人员放在哪里，并根据您的配置使用尽可能多的集群。不要为自己想象中的资源池而烦恼。

在 MR1 中，这更难做到。从概念上讲，您希望通过 mapreduce.tasktracker.map.tasks.maximum 以及您的堆设置将每个工作人员的最大映射器数量设置为 1，但仅适用于高内存作业。我不知道客户是否可以在每个作业的基础上请求或设置它。我对此表示怀疑，因为它不太合理。你不能仅仅通过控制映射器的数量来真正解决这个问题，因为你必须四处寻找，更不用说控制它将运行的映射器的数量了。

我不认为操作系统级别的设置会有帮助。在某种程度上，这些更像是 MR2/YARN 对资源调度的看法。您最好的选择可能是(转移到 MR2 并)使用 MR2 的资源控制并让它解决其余的问题。