- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
hadoop jar 命令是否会将 jar 文件复制到所有从节点并开始执行,或者它是如何工作的,谁来做?作业跟踪器或名称节点?
最佳答案
“hadoop jar”命令通过提供 jarfile、输入路径、输出路径告诉 hadoop 在集群中执行作业。 jar 文件包含作业配置以及所有 Map 和 Reduce 代码。
步骤:
工作客户将工作提交给 JobTracker (JT)。在后台,它将包含 Config、Mapper 和 Reducer 代码、输入和输出路径信息的二进制文件复制到靠近任务跟踪器 (TT) 的集中区域中的 HDFS。一旦 TT 需要使用该代码,他们只需将其下载到本地数据节点上,以便当 Map 和 Reduce 任务启动时,他们使用该代码在本地数据上运行。
JT 向 NameNode 查询包含数据的数据位置和数据节点名称。
根据这些信息,JT 与 TT 对话并通过考虑最接近数据的 TTS(如果它们有可用的执行槽)来创建执行计划。如果它们不是,那么它会进入机架位置并找到同一机架中的任何 TT 都有可用插槽。如果还是找不到,那就在任意机架/任意位置找TT。
根据执行计划,JT 将工作提交给 TT。 TT 现在支持 Map 和 Reduce 任务并在数据上执行。
TT 定期向 JT 报告进度和心跳(默认为每 5 秒一次)。每个 Map 和 Reduce 任务都通过 TT 向 JT 报告它们的进度/完成/错误。即 Mapper 和 Reducer 任务向 TT 报告,TT 向 JT 报告。如果 MR 任务终止,那么 TT 会将此报告给 JT,JT 启动其他 MR 任务来处理错误。
一旦所有映射器都完成了他们的任务,JT 就会向 TT 发出信号,告诉 Reducers 运行他们的 reducer 执行(即运行 reduce() 方法)
一旦所有 Mappers 和 Reducers 完成并写入最终输出,JT 将其状态更新为 SUCCESS 并通知客户端。
关于hadoop jar命令执行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26269053/
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 关闭 9 年前。 Improve this
我有一系列 SQL 命令,我想在大约 40 个不同的表上运行。必须有一种方法可以在不编写 40 条不同命令的情况下执行此操作... 我在 SQL Server 中运行它。所有表都有不同的名称,我要操作
我习惯在 PHP 中使用命令“mysql_insert_id()”来返回插入到我的数据库中的最后一行的 id。 在 C# 中的 SQLite 中是否有等效的命令? 谢谢! -阿德娜 最佳答案 选择 l
试图找出一种方法来回填 ds 分区 Hive 表的分区。 我知道如何从 CLI 运行 Hive 命令,例如 $HIVE_HOME/bin/hive -e 'select a.col from tab1
我有 .bat 文件。看起来像下一个 ....many commands1 ftp -i -s:copy.txt ...many commands2 copy.txt 包含下一个命令 open ...
基本上我想输入 show 并检查是否有 show 命令或别名已定义并触发它,如果未定义则触发 git show 。 例如 rm 应该执行 rm 但 checkout 应该执行 git checkout
我公司的主数据库是 iSeries 机器,我已经非常习惯使用 DB2 命令和结构。我现在正在尝试做一个小项目,更新一个包含超过 300 万条记录的表。我想出一种比较和“清理”数据的更快方法是使用 My
我想在带有 Node 的终端中制作一个简单的按钮板,并“blessed”用于连接或运行不同的命令。 ----------------------------------------------- _
我们有一个 selenium IDE 脚本,正在转换为 python webdriver。以下命令未转换: [openWindow | http://mywebsite.com/index.php |
我正在学习这个关于从 GIT HUB 下载和安装 Web 文件的在线教程。我进入主题:启动我们的静态网站,系统提示我输入命令以下载和安装 Web 文件。但是,当我输入命令 yarn install 时
我在 shell 脚本中使用 elif 命令时遇到问题,就像在 fortran 中一样。 我有 100 家公司的员工名单。我想屏蔽那些员工少于 500 人的公司。我的脚本是 rm -f categor
我有一些 Linux 命令可以生成 token 。我在 Linux 机器上使用操作系统库形式的 Python 自动化了这些命令。它工作正常。 但是,当我在 Windows 中尝试相同的代码时,它没有返
本文分享自华为云社区《Git你有可能不知道交互式暂存》,作者:龙哥手记。 本节中的几个交互式 Git 命令可以帮助你将文件的特定部分组合成提交。 当你在修改了大量文件后,希望这些改动能拆分为若干提交而
我想知道如何使用 IN 比较语法来做到这一点。 当前的 SQL 查询是: select * from employee where (employeeName = 'AJAY' and month(e
我在这个位置安装了 Hadoop /usr/local/hadoop$ 现在我想列出 dfs 中的文件。我使用的命令是: hduser@ubuntu:/usr/local/hadoop$ bin/ha
是否有一个单一的 docker 命令可用于清除所有内容?如果正在运行,请停止所有容器、删除所有图像、删除所有卷...等。 最佳答案 我认为没有一个命令可以做到这一点。您首先需要停止所有容器使用 $ d
我基本上是在 clojure/nrepl 模式中寻找与 C-u C-x C-e 或 C-c C-p 等效的 Scheme。 我想要一个 C-x C-e 将输出打印到缓冲区,而不是仅仅在 repl 中。
我可以在 vim 中使用 pudb(一个 ncurses Python 调试器),因为,例如,:!python %在实际的终端窗口中运行。我更喜欢使用 gvim,但 gvim 运行 :!python
我正在尝试编写一个 FFMPEG 命令: 取为 输入 一个视频 input.mp4 和一个图像 pic.jpg 作为 输出 将 input.mp4 拆分为 20 秒的视频,按顺序重命名;对于每个分割视
我想转储视频每帧的比特率。我正在尝试使用 -vstats 获取此信息命令。当我运行此命令时 - ffmpeg -i input.mp4 -vstats 它显示至少应该定义一个文件。 如果有人能建议我任
我是一名优秀的程序员,十分优秀!