memory-management - Datadog % 内存使用率和 RSS 内存

Question

我们有一个在 docker 容器中运行的 .net 核心服务，用于处理用户上传的文件。一些传入请求的文件大到 20 MB。应用程序将文件作为二进制 blob 保存到 Aurora DB 并执行其他处理步骤。最近服务负载增加，datadog 显示 % Mem Usage 大约为 99%。 CPU 利用率仅为 2% 左右。我们预计会发生内存泄漏，并因此导致容器内存不足。但是这个过程现在似乎运行良好了一段时间。此外，RSS 内存仅为 15%(4 GB 容器上为 650 MB)。我试图了解这两个内存指标的差异，以及内存泄漏导致的高内存使用率。这个过程很关键，我们希望采取所有必要的步骤来确保稳定性。我们正在分析内存优化的应用程序，但目前无法确定任何重要内容。

Answer 1

这听起来与我们团队在 Datadog 上的经历非常相似。有一段时间，我们收到了 pod 内存不足的警报。重新启动这些 pod 通常可以解决问题。图表显示内存使用量在一个月内稳步增长，直至达到峰值。

我们深入研究了这个问题，发现 datadog 报告已用 + 缓存内存，导致指标不正确。操作系统正在缓存文件句柄。通常，缓存的内存可供使用，并在需要更多内存时由操作系统自动释放。也可以手动冲洗 as shown here.

要确认这一点，您可以进入容器并运行 cat/proc/meminfo。这将为您提供容器内存使用情况的明细。这是我得到的

MemTotal:       6504577 kB
MemFree:        1888762 kB
MemAvailable:   4357572 kB
Buffers:            310 kB
Cached:         2230122 kB

如您所见，MemAvailable 比 MemFree 大得多，内存中有大量缓存数据。