gpt4 book ai didi

apache-spark - ApplicationMaster-在YARN中运行的不同类型的应用程序是否有所不同?

转载 作者:行者123 更新时间:2023-12-02 22:00:48 26 4
gpt4 key购买 nike

我试图了解YARN,并开始了解ApplicationMaster以及其他术语。

据我在Hadoop 1.x中了解,只有MR可以运行,但是随着需求的增长,创建YARN可以运行不同类型的作业,例如MR作业,基于Spark的作业等。

我的问题是:

每种作业(MR,Spark等)是否都有自己的ApplicationMaster,也就是说,对于MR,存在一种ApplicationMaster,对于基于Spark的作业,则是另一种ApplicationMaster?

最佳答案

您的问题的答案是Yes
是否想在 yarn 上编写新的应用程序? Hadoop文档中有一个section来说明如何操作。
Cloudera的article有助于理解YARN应用程序的启动过程。

希望了解Spark的Yarn ApplicationMaster实现。检查here

关于apache-spark - ApplicationMaster-在YARN中运行的不同类型的应用程序是否有所不同?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49488177/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com