hadoop - 什么会导致 hadoop kill reducer 任务重试-6ren

hadoop - 什么会导致 hadoop kill reducer 任务重试

转载作者：可可西里更新时间：2023-11-01 16:23:01

25

4

我的 hadoop 作业在其 reducer 任务上的“Killed Task Attempts”数量非常高，我检查了 killed 任务的状态:

Request received to kill task 'attempt_201308122006_41526_r_000030_1' by user
-------
Task has been KILLED_UNCLEAN by the user

没有标准输出和标准错误日志

是什么原因造成的？我该如何解决？

最佳答案

如果您启用了推测执行，那么您可能会看到许多 map/reduce 任务将被“杀死”。这是由于 hadoop 在多个任务跟踪器上运行长时间运行的任务，第一个完成“获胜”而其他任务被杀死。

一般来说，我只会担心作业跟踪器中“失败”的任务尝试

尝试关闭推测执行:

mapred.map.tasks.speculative.execution = falsemapred.reduce.tasks.speculative.execution = false

关于hadoop - 什么会导致 hadoop kill reducer 任务重试，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18227226/

25

4

0

文章推荐： hadoop - 如果 Reducer 的数量多于 Datanode 会发生什么

文章推荐： c# - 如何让 RestSharp 正确缩小压缩的 HTTP 响应？

文章推荐： hadoop - 在 PIg 中查找重复项

android - 进程管理 : To be killed or Not to be killed
一个观察:当我在 android 上开发我的应用程序时，我注意到 LogCat 中有以下两行。这些发生是因为我自己的应用程序的内存需求太多。我读过 Android 可以决定何时摆脱不需要或由于内存需求
unix - kill -INT 与 kill -TERM
SIGINT有什么区别信号和 SIGTERM信号？我知道SIGINT相当于在键盘上按Ctrl+C，但什么是SIGTERM为了？如果我想优雅地停止一些后台进程，我应该使用哪些？最佳答案响应的唯一区别
linux - kill(SIGSTOP) 是否在 kill() 返回时生效？
假设我有一个父进程和一个子进程(以例如 fork() 或 clone() 启动)在 Linux 上运行。进一步假设存在一些父子都可以修改的共享内存。在父进程的上下文中，我想停止子进程并知道它实际上已
bash:while 循环内的计数器(kill 和 kill -9)
所以我最近了解到 kill is not a synchronous命令，所以我在 bash 中使用这个 while 循环，这很棒: while kill PID_OF_THE_PROCESS 2>/
linux - 'kill -STOP and kill -CONT' 是如何工作的？
我遇到了一个问题。我们有一个干净的脚本用来清理旧文件，有时我们需要停止它，稍后再启动它。像下面的过程。我们在check.sh中使用kill -STOP $pid和kill -CONT $pid来控制c
c - "kill"是如何工作的？特别是 "kill"如何处理被阻止的进程？
内核中谁负责终止进程。如果“kill”来了，进程处于阻塞状态怎么办。 kill是否等到进程进入running状态才清理自己。如果有人可以在内核方面回答更多问题，例如当 kill 命令生成 SIGI
kill - 谈论 NFS 挂载选项时 "sure kill"是什么？
在下面的链接中 http://www.faqs.org/docs/Linux-HOWTO/NFS-HOWTO.html 它说一个进程除非被“sure kill”才能杀死，但是什么是sure kill？
bash - 为什么/bin/kill 的有效信号与 kill 不同？
我正在尝试编写一个快速的 bash 脚本，以在脚本检测到的特定条件下向程序发出信号，并且出于习惯，我正在使用某些 bin 实用程序的完整路径，即 /bin/rm 和 /bin/kill 代替 rm 和
linux - kill nohup 不适用于 kill -9 PID
我的服务器在端口 80 上运行 nohup。我试试 ps aux | grep nohup 得到 root 9234 0.0 0.1 11740 932 pts/1 S+ 15:19 0:00 gre
linux - kill -9 + 禁用来自 kill 命令的消息(标准输出)
我写了下面的脚本，如果 grep 在文件中找不到相关的字符串，它会启用 20 秒的超时。脚本运行良好，但是脚本的输出是这样的: ./test: line 11: 30039: Killed 如何从
linux - "kill 0"和 "kill -‍- -$$"有什么区别？
基本上我想要一个 bash 脚本进程，在收到 SIGINT 后，在退出之前杀死它的所有子进程。我读了here使用以下内容: trap "kill -TERM -$$ ; exit 1" INT QUI
linux - 如何杀死从 kill 或 kill -9 脚本启动的进程产生的所有子进程
我有一个名为 Launcher.sh 的 shell 脚本，它由 java 进程执行。 java进程内部使用ProcessBuilder来执行bash脚本。在 Launcher.sh 中，我有以下代
python / celery : how can I kill subtasks when killing a parent task?
上下文我创建了一个调用 celery 任务的 Django 应用程序，该任务又会生成其他任务并等待它们完成。工作流程如下: 1) 主要的python/django代码在后台启动一个celery任务
linux - 我想在 kill -9 时将 " Killed ~"输出到日志文件
我要输出这条消息/usr/local/ex1.sh: line xxx: Killed ex2.sh >> $LOG_FILE 2>&1到日志文件。不过 “ex1.sh”输出 /usr/local
python - 我试图用子弹击中永久 'kill' 目标，但在使用 '.kill()' (PYGAME) 后它们重新出现
我最近上传了很多问题，我认为人们对我感到厌倦，但我不擅长编程，并且正在尝试为 A-level 类(class)编写游戏代码，所以我需要所有可以得到的帮助来学习语言。不管怎样，我将在下面展示一些相关的代
hadoop - hadoop job -kill job_id 和 yarn application -kill application_id 有什么区别
hadoop job -kill job_id 和 yarn application -kill application_id 有什么区别？ job_id 和 application_id 是否代表/
emacs - 在 post-command-hook 中，kill-word 的 this-command 不知何故变成了 kill-region
在我的 post-command-hook回调，当我这样做时 kill-word , this-command var 是 kill-region - 而不是 kill-word正如预期的那样。我想
c++ - linux 中的 force kill 命令 (kill -9) 是否会在 C++ 应用程序中使用 new 运算符清理动态分配的内存？
我有一个要在 Oracle Linux OS 上运行的 C++ 应用程序。考虑一下，我用 new 创建了几个对象。运算符(operator)。虽然我已经使用 delete 操作符来解除分配它，但是
node.js - 无法运行 node 或 npm，在 bash 上运行时收到消息 "zsh: killed"或 "Killed: 9"
不确定是否相关，但在周末我将我的操作系统升级到 Big Sur 11.1 版，然后当我开始工作时，一件又一件地出错，现在我根本无法使用 node 或 npm。我在 zsh 中收到以下消息: % nod
python - 无法使用 process.kill() 或 process.terminate() 或 os.kill() 或使用 psutil 终止 Python 子进程
我使用 python 并行启动两个子进程。一个是 HTTP 服务器，而另一个是另一个程序的执行(CustomSimpleHTTPServer.py，它是由 selenium IDE 插件生成的 pyt

首页

博学

6Ren·AI

商城

hadoop - 什么会导致 hadoop kill reducer 任务重试