gpt4 book ai didi

hadoop - 有没有办法限制应用程序主机在特定节点上启动?

转载 作者:可可西里 更新时间:2023-11-01 14:57:05 26 4
gpt4 key购买 nike

我有一个集群设置,其中的节点不可靠并且可能会出现故障(它们是 aws spot 实例)。我试图确保我的 application master 仅在集群的可靠节点(aws on demand 实例)上启动。有同样的解决方法吗?我的集群由 hortonworks ambari 管理。

最佳答案

这可以通过使用节点标签来实现。在 yarn 上运行 spark 时,我能够使用 spark spark.yarn.am.nodeLabelExpression 中的属性将我的应用程序主机限制为一组节点。将节点标签添加到要用于应用程序主机的任何节点。

关于hadoop - 有没有办法限制应用程序主机在特定节点上启动?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37680878/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com