gpt4 book ai didi

map - 如何终止在 Amazon EMR 上运行的 map task ?

转载 作者:可可西里 更新时间:2023-11-01 14:25:46 26 4
gpt4 key购买 nike

我有一个作业在 32 个 spot 实例上使用 Hadoop 0.20 运行。它已经运行了 9 个小时,没有出现任何错误。它在那段时间处理了 3800 个任务,但我注意到只有两个任务似乎被卡住了,并且已经单独运行了几个小时(显​​然是响应,因为它们没有超时)。这些任务通常不会超过 15 分钟。我不想失去所有已经完成的工作,因为这会花费我很多钱。我真的很想终止这两个任务并让 Hadoop 重新分配它们或将它们计为失败。在它们停止之前,我无法从其他 3798 个映射中获取 reduce 结果!

但我不知道该怎么做。我考虑过尝试找出哪些实例正在运行任务,然后终止这些实例,但是

  1. 我不知道如何找出哪些实例是罪魁祸首
  2. 恐怕会产生意想不到的影响。

我如何终止单个 map task ?

最佳答案

通常,在 Hadoop 集群上,您可以通过发出以下命令终止特定任务:

hadoop job -kill-task [attempt_id]

这将杀死给定的 map task 并在不同的上重新提交它具有新 ID 的节点。

要获取 attemp_id,请在 Jobtrackerweb UI 上导航到 map task 有问题,单击它并记下它的 ID(例如:attempt_201210111830_0012_m_000000_0)

关于map - 如何终止在 Amazon EMR 上运行的 map task ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12874168/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com