gpt4 book ai didi

hadoop - mapreduce 作业停留在 0

转载 作者:可可西里 更新时间:2023-11-01 16:57:09 27 4
gpt4 key购买 nike

我有一个奇怪的错误,我的 mapreduce 作业总是卡在 map 0% reduce 0%。所以我继续做一些研究,发现了这个 link当我在 namenode 上运行 hadoop tasktracker & 时,它确实解决了我的问题,但据我所知,Namenode 只支持 JobTracker,在某些情况下还支持辅助 NameNode。 TaskTrackers 适用于 DataNodes 对吗?如果我的理解有误,请纠正我。为什么每次都要在NameNode上启动tasktracker守护进程?

是否有一个永久性的解决方案可以自动执行此操作,因为每次我都手动启动 NameNode 上的 TaskTracker。

最佳答案

也有可能是您的 Mapping Task 陷入了死循环。该百分比是已完成的映射任务的百分比。如果每次提交 map 作业时,映射都陷入无限循环,则永远无法完成。

关于hadoop - mapreduce 作业停留在 0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28527354/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com