scala - Yarn 集群不能平等地管理 vcore，超出队列资源限制

Question

我有 3 个 yarn 节点管理器在 yarn 集群中工作，并且存在与每个 yarn 节点的 vcores 可用性相关的问题。

例如，我有:

在第一个节点上:可用 15 个 vcores，
在第二个节点上:非 vcores 可用，
在第三个节点上:可用 37 个 vcore。

现在，作业尝试启动并失败并显示错误:

“超出队列的 AM 资源限制”

这是否与第二个节点上可用的非 vcores 相关，或者我可以以某种方式增加队列中的资源限制？

我还想提一下，我有以下设置:

yarn.scheduler.capacity.maximum-am-resource-percent=1.0

Answer 1

这意味着，您的驱动程序已超出 Max Application Master Resources 中配置的最大内存。您可以增加 AM 的最大内存或减少作业中的驱动程序内存。