gpt4 book ai didi

hadoop - 我可以强制 YARN 使用 Application Master 容器的主节点吗?

转载 作者:可可西里 更新时间:2023-11-01 15:27:25 25 4
gpt4 key购买 nike

在我的 Hadoop/Spark 运行期间,我的大主节点硬件几乎什么都不做,因为 YARN 在每个任务上为其 AM 使用随机从节点。我更喜欢旧的 Hadoop 1;当出现问题时,通过这种方式可以避免大量的日志追踪和 ssh 痛苦。

这可能吗?

最佳答案

Spark 和 YARN 节点标签是可能的。

  1. 标记你的节点
  2. 使用spark.yarn.am.nodeLabelExpression属性

好读:

关于hadoop - 我可以强制 YARN 使用 Application Master 容器的主节点吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41904491/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com