hadoop - yarn 容量调度程序并行化

Question

yarn中的容量调度程序是否在同一队列中为同一用户并行运行应用程序。

例如:如果我们在两个具有相同用户的终端上具有2个配置单元CLI，并且在两个终端上都启动了相同的查询，那么它们是在并行或顺序执行的默认队列上执行的。

当前，UI显示1个正在运行，而1个处于挂起状态:



有没有办法并行运行它？

Answer 1

yarn 容量计划程序以FIFO方式为同一队列中提交的作业运行作业。例如，如果两个 hive cli都已提交给默认队列，那么首先能够保护资源的 hive ​​cli将进入运行状态，而其他将等待(仅当队列中没有足够的资源时)。

如果要并行执行
1)您可以在不同的队列中运行其他作业。您可以在 yarn 上启 Action 业时定义队列名称。
2)您需要以某种方式定义资源，以便两个作业都可以根据需要获取资源。