gpt4 book ai didi

java - 为什么身份映射器会内存不足?

转载 作者:可可西里 更新时间:2023-11-01 14:50:35 25 4
gpt4 key购买 nike

在仅减少的 Hadoop 作业中,输入文件由身份映射器处理,并在不修改的情况下发送到减少器。在我的一些工作中,我非常惊讶地看到工作在映射阶段失败并出现“内存不足错误”和“超出 GC 开销限制”。

以我的理解,身份映射器上的内存泄漏是不可能的。出现这种错误的原因是什么?

最佳答案

经过几个小时的研究和反复试验,我意识到我为 TASK 组配置的机器是内存不多的小型实例,更有趣的是,我内存不足的时间点是在洗牌期间的映射。

关于java - 为什么身份映射器会内存不足?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12302708/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com