个人中心
文章发布
退出
作者热门文章
- 921. Minimum Add to Make Parentheses Valid 使括号有效的最少添加
- 915. Partition Array into Disjoint Intervals 分割数组
- 932. Beautiful Array 漂亮数组
- 940. Distinct Subsequences II 不同的子序列 II
26
4
YARN是一个通用的资源管理系统和调度平台
资源管理系统：集群的硬件资源，和程序运行相关，比如内存、CPU等
调度平台：多个程序同时申请计算，资源如何分配，调度的规则/算法。
上图中我们可以清晰的看到YRAN的三大组件：
另外还有：
YARN集群中的主角色，决定系统中所有应用程序之间资源分配的最终权限，即最终仲裁者。接收用户的作业提交，并通过N分配、管理各个机器上的计算资源
YARN集群中的从角色，一台机器上一个，负责管理本机器上的计算资源。根据RM命令，启动Container容器、监视容器的资源使用情况。并且向RV主角色汇报资源使用情况。
用户提交的每一个应用程序都包含一个AM。应用程序中的管理者，负责程序内部各阶段的资源申请，监督程序的执行情况。
核心交互流程：
| 交互 | 流程 |
|---|---|
| MR作业提交 | Client -> RM |
| 资源申请 | App Mstr -> RM |
| MR作业状态汇报 | Container(Map|Reduce Task) -> Container(App Mstr) |
| 节点状态汇报 | NM -> RM |
整体概述：
当用户向 YARV 中提交一个应用程序后，YARN将分两个阶段运行该应用程序，
1、 用户通过客户端向YARN中的RM提交应用程序；
2、 RM为该应用程序分配一个Container容器，并与NM通信，要求其在这个容器中启动这个应用程序的AppMstr；
3、 AppMstr启动成功后向RM注册并保持通信，如此用户就可以通过RM查看App的运行状态；
4、 AppMstr为本次App内部的各个Task向RM申请资源，并监控运行；
5、 一旦AppMstr申请到资源，就与NM通信要求其启动任务；
6、 NM为任务设置好运行环境后，将任务启动命令写入一个脚本中，通过运行该脚本启动任务；
7、 各个任务通过某个RPC协议向AppMstr汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务在App运行过程中，用户可随时通过RPC向AppMstr查询应用程序的当前运行状态；
8、 应用程序运行完成后，AppMstr向RM注销并关闭自己；
在理想情况下，应用程序提出的请求将立即得到YARN批准。但是实际中，资源是有限的，并且在繁忙的群集上 ，应用程序通常将需要等待其某些请求得到满足。YARN调度程序的工作是根据一些定义的策略为应用程序分配资源。
在YARN中，负责给应用分配资源的就是Scheduler，它是ResourceManager的核心组件之一。Scheduler完全专用于调度作业，它无法跟踪应用程序的状态。
一般而言 ，调度是一个难题，并且没有一个“最佳” 策路，为此，YARN提供了多种调度器和可配置的策路供选择。
YARN默认使用容量调度器，需要修改可在yarn-site.xml中的yarn.resourcemanager.scheduler.class中配置
FIFO Scheduler（先进先出调度器）：
完全按照时间，即先提交先运行。调度工作不考虑优先级和范围，适用于负载较低的小规模集群，当使用大规模共享集群时，他的效率低且会导致一些问题。
Capacity Scheduler（容量调度器）：
允许多个组织共享集群资源，每个组织都可以获得集群的一部分计算能力。即通为组织分配专门的队列，然后再为每个队列分配一定的集群资源。
Fair Scheduler（公平调度器）：
是一种公平的共享大型集群中资源的另一种方式，使所有应用在平均的情况下随着时间的流逝可以获得相等的资源份额。公平调度可以在多个队列之间工作，允许资源共享和抢占。
26
4
0
YARN 中的 yarn-site.xml 与 yarn-default.xml 有什么区别？看起来yarn-default.xml 在Hadoop 2.2 中已被弃用？ 最佳答案 在所有 Hadoo
我们有一个在 yarn 上运行的流媒体应用程序，我们希望确保它 24/7 全天候运行。 有没有办法告诉 yarn 在失败时自动重启特定的应用程序？ 最佳答案 你试过了吗Hadoop Yarn - Re
我在根队列下有 4 个队列，配置如下。 |-------------|-----------------|---------------------|-------------------| | Qu
我正在使用 YARN(和 Dask)版本 Hadoop 2.7.3-amzn-1 在 AWS EMR 上构建应用程序。我正在尝试测试各种故障场景，并且我想模拟容器故障。我似乎找不到一种简单的方法来杀死
我想创建一个 cron 来通过它的应用程序名称杀死一个 yarn 应用程序(Spark)。但我发现 yarn 应用程序 -kill 需要一个应用程序 ID。是否有解决方案可以通过应用程序名称杀死它，或
我正在尝试从此链接运行通用入门套件:https://github.com/ng-seed/universal即使我按照步骤安装了 Yarn，当我运行命令来运行服务器时，它给了我以下错误: 错误:找不到
我正在尝试 YARN 2.2 中的分布式 Shell 示例，希望有人能澄清托管和非托管应用程序管理器之间的区别是什么？ 例如以下几行出现在客户端代码中 // unmanaged AM appConte
我有一个像这样的工作区项目: /project - package.json /packages /project-a package.json
这两个到底做什么用，在哪里使用它们？ yarn 安装 yarn 构建 最佳答案 简而言之，yarn install 是用于安装项目所有依赖项的命令，通常在 package.json 文件中分配。在大多
所以，到目前为止，似乎没有 yarn audit --fix ，所以我想弄清楚如何修复我的 yarn audit错误。 我试过 yarn upgrade它修复了一些错误(这很好)，但仍然存在一些错误。
我正在使用一个使用 yarn 的 dockerized pyspark 集群。为了提高数据处理管道的效率，我想增加分配给 pyspark 执行程序和驱动程序的内存量。 这是通过将以下两个键值对添加到
我尝试重新安装yarn，但重新安装后发现这个问题，我尝试搜索互联网但没有找到解决方案。 fiii@neo:~$ yarn --version node:internal/modules/cjs/loa
我正在试验2号纱和植面。 我创建了一个新文件夹:/projects/yarn2/根据他们的安装指南https://yarnpkg.com/getting-started我跑了 cd /projects
我是hadoop和YARN的新手。启动hdfs之后，我使用软件包中提供的start-yarn.sh启动YARN并出现错误。 我在Ubuntu 18.04上使用hadoop 3.2.0，jdk-11。
Apache Spark最近更新了版本至0.8.1，新增了yarn-client模式。我的问题是，yarn-client 模式的真正含义是什么？在文档中它说: With yarn-client mod
我们有一个在 HDFS 2.7.3 上运行的 Spark 流应用程序，使用 Yarn 作为资源管理器....在运行应用程序时......这两个文件夹 /tmp/hadoop/data/nm-local
我的机器上的 yarn 命令有问题。我的机器上安装了 hadoop 和 yarn 包管理器(Javascript)。当我运行 yarn init 时，它调用 hadoop 的 YARN 并响应: Er
我正在尝试运行此处列出的简单 yarn 应用程序:https://github.com/hortonworks/simple-yarn-app 我是 Java 和 Hadoop 的初学者，当我尝试使用
我正在尝试使用 YARN node labels标记工作节点，但是当我在 YARN(Spark 或简单的 YARN 应用程序)上运行应用程序时，这些应用程序无法启动。 使用 Spark，指定 --co
我一直只使用 npm 而从不显式使用 yarn/webpack。我需要从这个 repo 运行代码: https://github.com/looker-open-source/custom_visua
我是一名优秀的程序员,十分优秀！