couchbase 元数据开销警告。 62% RAM 被 key 和元数据占用

Question

好吧，因为我没有 10 次重复，所以我无法发布图片，但我会尝试用文字解释。

我有一个 7 节点 Couchbase(社区)集群，有 4 个存储桶。最近，我不断地收到针对其中一个存储桶的元数据开销警告的垃圾邮件。弹出警告，如下所示:

元数据开销警告。分配给节点“xxx”上的存储桶 XXXX 的 RAM 超过 62% 被 key 和元数据占用。

我读到，这通常表明铲斗需要更多内存。但我不认为这对我来说是问题。我猜我只是有很多元数据。当我查看数据存储桶选项卡时，该存储桶具有RAM/配额使用情况64GB/75GB。所以对我来说，看起来大约有 11GB(75-64GB)可用。

如果我查看存储桶分析 VBUCKET RESOURCES 指标，我会发现 RAM 中有 59GB 用户数据，46GB RAM 中的元数据。因此，据我了解，总共 75GB 的存储桶上应该有 105GB 的 RAM!？!

但这对我来说并没有那么明显，这里有一些我不明白的东西。是的，75GB 中的 46GB 约为 62%。但是 RAM 中的 59GB 用户数据又如何呢？

编辑:典型的文档可能如下所示:

ID=1:CAESEA---rldZ5PhdV4msSdEchI
CONTENT=z2TjZEzkZ84=

对于我的问题。我该怎么办？在我的情况下，这种情况可以接受吗？如果是这样，我是否更改该警告的阈值(我读到不建议这样做，因为警告设置为 50% 是有原因的)。

或者我分配更多的内存吗？如果是的话，如果已经有 11GB 可用空间，这对我有什么帮助？

请帮助我澄清这些数字，并建议我是否需要采取任何行动。

Answer 1

首先，元数据使用大量内存并不一定存在问题 - 它只是意味着可用于缓存实际文档的 RAM 较少。如果您的应用程序运行良好，那么它可能适合您的用例。不过，话虽如此，让我尝试解决您的问题，以及如果您确实想改进的话应该更改哪些内容:

If i look at the Bucket Analytics VBUCKET RESOURCES metrics I see that there is 59GB user data in RAM and 46GB metadata in RAM. So to my understanding there should be 105GB in RAM on a bucket that has a total of 75GB!?!

IIRC“RAM 中的用户数据”包含“RAM 中的元数据” - 因此您总共使用了 59 GB 数据，其中 46 GB 是元数据。

And to my question. What do I do? Is the situation acceptable in my circumstances. If so, do I change the threshold for that warning(which I read is not recommended since the warning is set at 50% for a reason). Or do I assign more RAM? And if so how does that help me if there is already 11GB free?

所以基本上，您存储了大量非常小的文档，因此每个文档的元数据开销(约 48 字节加上 key 的长度)与实际文档大小相比非常高。

11GB可用空间主要由存储桶配额和高水位线之间的差额组成。

以下是一些改进此问题的选项:

1. 向存储桶分配更多 RAM(如您所述)- 如果服务器配额中有任何未分配的内存。
2. 向节点添加更多内存(并分配给服务器配额和存储桶)。
3. 减少副本数量(如果您可以接受) - 目前您实际上将每个对象(及其元数据)存储三次 - 一次用于事件 vBuckets，两次用于两个副本 vBucket 集。
4. 更改文档以使用更短的键 - 这将减少每个文档的平均元数据。
5. 将多个文档合并为一个 - 这将减少文档数量，从而减少总体元数据开销。