gpt4 book ai didi

hadoop - Hadoop-作业执行方式-需要逐步说明

转载 作者:行者123 更新时间:2023-12-02 22:05:35 26 4
gpt4 key购买 nike

我正在学习hadoop。我正在尝试形象化提交工作后发生的情况。我的意思是有人可以逐步解释执行命令时会发生什么

hadoop jar example.jar WordCount test.txt output

该Java程序如何提交给JobTracker。名称节点,数据节点如何进入图片等

谢谢
阿尼鲁达

最佳答案

在最高级别上,有四个独立实体:

客户端,它提交MapReduce作业。

作业跟踪程序,它协调作业的运行。 jobtracker 是一个Java应用程序,其主要类为 JobTracker

任务跟踪程序,它们运行作业已拆分为的任务。 Tasktrackers 是Java应用程序,其主要类为 TaskTracker

分布式文件系统,用于在其他实体之间共享作业文件。

请通过以下链接

http://answers.oreilly.com/topic/459-anatomy-of-a-mapreduce-job-run-with-hadoop/

关于hadoop - Hadoop-作业执行方式-需要逐步说明,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20516026/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com