gpt4 book ai didi

hadoop - Cloudera 管理器 "Memory Overcommit Validation Threshold"

转载 作者:可可西里 更新时间:2023-11-01 15:13:05 25 4
gpt4 key购买 nike

我目前有一个由 3 台机器组成的集群,它们都在运行 Ubuntu,并且已经使用 Cloudera Manager 进行了配置。查看集群后,我发现其中两台机器出现错误“Memory Overcommit Validation Threshold”。一种是在机器只有3.8GB的物理内存时使用6.3GB的内存,另一种是在机器只有7.8GB的物理内存时使用11.6GB的内存。

我认为这是因为这两个都被设置为数据节点和名称节点,但我不确定如何使它只使用可用的内存而不交换。我已经在 sysctl.conf 文件中将 swappiness 设置为 0。

我无法为名称节点使用另一台机器或向机器添加任何内存。知道如何降低内存使用量,以及我应该降低到什么程度,这样集群才不会因为可用内存太少而开始失败吗?

最佳答案

这与 Swappiness 完全无关。仅当为该节点上的服务分配的内存大于该节点可用的总内存时才会出现此错误(请注意,20% 的内存默认为系统保留)

转到每个主机上的资源页面,查看每个服务使用了多少内存。您可以通过转到配置选项卡(对于每个服务)并更改它(在配置页面的搜索栏中使用“内存”或“堆”来降低每个服务使用的内存量调出这些属性)

这样做可以消除该错误,但这不是推荐的修复方法。出现此错误的首要原因是您的集群上运行的服务可能过多。尝试摆脱其中一些你不使用的。您可以稍后添加它们(当您添加更多内存时)

关于hadoop - Cloudera 管理器 "Memory Overcommit Validation Threshold",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31992100/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com