gpt4 book ai didi

java - Hadoop 作业未在大数据集中运行并抛出子错误

转载 作者:太空宇宙 更新时间:2023-11-04 03:34:47 25 4
gpt4 key购买 nike

我正在 Hadoop 之上运行的应用程序上运行 Map-Reduce 作业。对于较小的数据集,它运行正常,但增加数据大小会导致它失败,并显示如下消息。

我尝试了 mapred.child.*.java.opts 中的各种内存配置,但没有成功。该过程运行到 6% 或 7%,然后失败。如果数据大小减小,它将以更高的百分比值运行,然后失败。我可以看到这个特定的进程只分配给一个映射器。

java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250) Caused by: java.io.IOException: Task process exit with nonzero status of 137. at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:237)

最佳答案

可能原因:为任务跟踪器分配的内存(mapred-site.xml中的mapred.*.child.java.opt之和)大于节点实际内存

关于java - Hadoop 作业未在大数据集中运行并抛出子错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31997331/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com