hadoop - 即使节点有可用内存，Yarn 作业也会崩溃，退出代码为 143

Question

我的 map task 超时，退出代码为 143，我认为这是内存问题。据我了解，根据我的设置，每个容器将接收 3gb 内存，其中 2.5gb 将分配给 java 堆。当我在 yarn Web UI 上检查内存可用性时，我看到 Mem Used 从未通过 Mem Avail 但我的工作在 600 秒后超时。

这会不会是因为我的工作使用了过多的 Java 堆并崩溃了？

    <name>mapreduce.map.memory.mb</name>
    <value>3072</value>

    <name>mapreduce.map.java.opts</name>
    <value>-Xmx2560M</value>

Answer 1

1. 你的映射器正在执行一些需要超过 600 秒的任务，节点管理器认为它已经死了，因此将它杀死。
2. 请在执行任务期间确认任务是有效的。
3. 如果您正在更新计数器，确认将自动完成。
4. 将超时时间增加到 600 秒以上