gpt4 book ai didi

hadoop - Spark + yarn 簇: how can i configure physical node to run only one executor\task each time?

转载 作者:可可西里 更新时间:2023-11-01 16:07:02 25 4
gpt4 key购买 nike

我的环境包含 4 个物理节点和少量 RAM,每个节点有 8 个 CPU 内核。我注意到 spark 会自动决定为每个 CPU 分配 RAM。结果是发生了内存错误。我正在处理大数据结构,我希望每个执行程序都将在物理节点上拥有整个 RAM 内存(否则我会遇到内存错误)。我尝试在“yarn-site.xml”文件上配置“yarn.nodemanager.resource.cpu-vcores 1”或在 spark-defaults.conf 上配置“spark.driver.cores 1”但没有成功。

最佳答案

尝试设置 spark.executor.cores 1

关于hadoop - Spark + yarn 簇: how can i configure physical node to run only one executor\task each time?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35563783/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com