gpt4 book ai didi

hadoop - hadoop jar 和 yarn -jar 的区别

转载 作者:可可西里 更新时间:2023-11-01 14:12:48 26 4
gpt4 key购买 nike

使用命令“hadoop jar”和“yarn -jar”运行 jar 文件有什么区别?

我已经在我的 MAC 上成功地使用了“hadoop jar”命令,但我想确保在我的四个内核上执行是正确的和并行的。

谢谢!!!

最佳答案

简答题

它们对您来说可能是相同的, 但即使它们不同,它们也应该尽其所能地利用您的集群。


更长的答案

/usr/bin/yarn 脚本设置执行环境,以便可以运行所有 yarn 命令。 /usr/bin/hadoop 脚本不太关心 yarn 特定的功能。但是,如果您将集群设置为使用 yarn 作为 mapreduce (MRv2) 的默认实现,那么 hadoop jar 可能与 yarn jar 一样用于 mapreduce工作。

无论哪种方式,您都可能没问题,但您始终可以检查资源管理器(或作业跟踪器)Web 界面,以了解您的作业如何在集群中分布(无论是否是单节点集群)

关于hadoop - hadoop jar 和 yarn -jar 的区别,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22769129/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com