hadoop - hive.tez.container.size 和 tez.task.resource.memory.mb 之间的区别

Question

有人知道并向我解释 Tez 的这些设置之间的区别吗？

hive.tez.container.size 和 tez.task.resource.memory.mb

谢谢。

Answer 1

hive.tez.container.size

此属性指定 tez 容器大小。通常此属性的值应与 YARN 容器大小 yarn.scheduler.minimum-allocation-mb 相同或为它的小倍数(1 或 2 倍)，并且不应超过 的值yarn.scheduler.maximum-allocation-mb。

作为一般规则，不要将值设置为高于每个处理器的内存，因为您希望每个容器有 1 个处理器，并且您希望启动多个容器。

您可以在 Hortonworks 社区答案 here 上找到非常详细的答案和很棒的架构图

tez.task.resource.memory.mb

TEZ 容器中启动的任务使用的内存量。通常这个值是在 DAG 中设置的，但如果不是，那么默认情况下它将设置为 1024 MB。

DAG 中的所有任务都将具有相同的大小，这有助于容器的重用并且对性能也有好处。