gpt4 book ai didi

hadoop - 推测执行 Hadoop

转载 作者:可可西里 更新时间:2023-11-01 16:48:30 25 4
gpt4 key购买 nike

我正在 yahoo( https://developer.yahoo.com/hadoop/tutorial/module4.html ) 研究这个 hadoop 模块,我正在阅读推测执行部分。我的问题是,
因为根据模块

,因为推测执行而放弃的任务和丢弃的输出将去哪里

因为根据雅虎,
“如果其他副本正在推测性地执行,Hadoop 会告诉 TaskTrackers 放弃任务并丢弃它们的输出”

最佳答案

尽管没有明确说明,但丢弃已放弃的任务意味着从已终止的任务中释放资源(内存和 cpu 内核)并释放磁盘空间(删除磁盘上的输出)。如果您使用的是 YARN,节点管理器将释放容器。

原始任务或推测任务将被终止,具体取决于谁先完成。如果推测任务先完成,则杀死原始任务,如果原始任务先完成,则推测任务将被杀死。

当你杀死一个普通的 java 进程时会发生什么?该进程使用的资源被释放。在这种情况下也会发生同样的事情。唯一的区别是任务被优雅地杀死。

TaskAttemptKillEvent 将提供对此 topic 的更多见解

关于hadoop - 推测执行 Hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34573229/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com