apache-spark - YARN 无法识别增加的 'yarn.scheduler.maximum-allocation-mb' 和 'yarn.nodemanager.resource.memory-mb' 值

Question

我正在使用一个使用 yarn 的 dockerized pyspark 集群。为了提高数据处理管道的效率，我想增加分配给 pyspark 执行程序和驱动程序的内存量。
这是通过将以下两个键值对添加到 REST 发布请求中来完成的，该请求被发送到 Livy:"driverMemory": "20g" "executorMemory": "56g"这样做会导致以下错误，我在 Livy 的日志中发现了该错误:java.lang.IllegalArgumentException: Required executor memory (57344), overhead (5734 MB), and PySpark memory (0 MB) is above the max threshold (8192 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.当然，我已经适本地编辑了 yarn-site.xml 并将上述两个值设置为 64 GB，方法是在文件 and it looks like this 中包含以下几行但它似乎没有什么区别。
如果 executorMemory +10% 开销超过 8192 MB，不同的 driverMemory 和 executorMemory 值会出现类似的问题。
我该如何解决这个问题并分配更多的执行程序内存？

Answer 1

确保您的 yarn.site在启动服务的那一刻，在您的主容器和工作容器上看起来完全相同。
您似乎只能在母版上对其进行编辑，这可能是造成这种困惑的一个原因。作为一般经验法则，所有配置文件(以及许多其他内容)在集群中的所有机器上看起来都必须完全相同。