hadoop - Tez 容器是在 YARN 容器内部运行，还是代替 YARN 容器运行？

Question

我正在 EMR 上运行 Hive + Tez，我想了解一下 Tez 如何与 YARN 交互。

我读到this article :

Set tez.am.resource.memory.mb to be the same as yarn.scheduler.minimum-allocation-mb (the YARN minimum container size)

Set hive.tez.container.size to be the same as or a small multiple (1 or 2 times that) of YARN container size yarn.scheduler.minimum-allocation-mb but NEVER more than yarn.scheduler.maximum-allocation-mb. You want to have headroom for multiple containers to be spun up.

这听起来像是 Tez 容器是与 YARN 容器分开配置的。真的吗？从一般文档来看，Tez 似乎是 YARN 容器的替代品，这意味着您设置 Tez 容器大小并且可以忽略原始 YARN 容器大小。

简而言之:Tez 容器是在 YARN 容器内部运行，还是 Tez 容器而不是在 YARN 容器中运行？

Answer 1

tez-site.xml 是独立的，是的。因为如果没有它，Tez 将不知道如何自行运行。

Tez 更像是 MapReduce 的替代品，而不是 YARN

如果您运行 Tez 作业，它将显示在 YARN UI 中。

因此，Tez 容器(任务的一部分)被分配到 YARN Tez 作业(运行由 Tez 容器组成的 YARN 容器集合)