memory - Redis内存优化建议

Question

我有一个 Redis Master 和 2 个 slave。所有 3 个当前都在同一个 unix 服务器上。 3个实例使用的内存大约是3.5G、3G、3G。 redis 数据库中大约有 275000 个键。大约 4000 个是哈希值。 1 Set 有 100000 个值。 1 列表中有 275000 个键。它是哈希和集合的列表。服务器的总内存为 16 GB。当前使用 9.5 GB。持久性目前处于关闭状态。 rdb 文件通过强制后台保存每天写入一次。请提供任何优化建议。 max-ziplist 配置目前是默认的。

Answer 1

优化哈希

首先，让我们看一下哈希值。两个重要的问题——每个散列中有多少元素，这些散列中的最大值是多少？如果满足以下条件，哈希将使用内存高效的 ziplist 表示:

len(hash) < hash-max-ziplist-entries && length-of-largest-field(hash) < hash-max-ziplist-value

你应该根据你的数据增加redis.conf中的两个设置，但不要增加超过默认值的3-4倍。

优化集

无法优化包含 100000 的集合，除非您提供有关用例的其他详细信息。一些通用策略 -

1. 也许使用 HyperLogLog - 您是否使用集合来计算唯一元素？如果您运行的唯一命令是 sadd和 scard - 也许你应该切换到 hyperloglog。
2. 也许使用 Bloom Filter - 您是否使用集合来检查成员的存在？如果您运行的唯一命令是 sadd和 sismember - 也许你应该实现一个布隆过滤器并使用它而不是集合。
3. 每个元素有多大？ - 集合成员应该很小。如果您正在存储大对象，您可能做错了什么。

优化列表

1. 包含 275000 的单个列表似乎是错误的。访问列表中心的元素会很慢。您确定您列出的数据结构适合您的用例吗？
2. 更改 list-compress-depth到 1 或更高。在 redis.conf 中阅读有关此设置的信息- 需要权衡。但是对于包含 275000 个元素的列表，您当然希望启用压缩。

工具

使用开源 redis-rdb-tools分析你的数据集(免责声明:我是这个工具的作者)。它会告诉你每个键占用了多少内存。它将帮助您决定将精力集中在何处。

也可以引用这个memory optimization cheat sheet .

还有什么？

您提供的用例细节非常少。最好的节省来自为您的用例选择正确的数据结构。我鼓励您更新您的问题，详细了解您在散列/列表/集合中存储的内容。