redis - 超过Redis maxmemory

Question

我正在我的本地机器上试验 redis 3.0 逐出策略——我想限制最大内存，这样 redis 就不能消耗超过 20 兆字节。

我的配置:

loglevel debug
maxmemory 20mb
maxmemory-policy noeviction

从这里开始，我使用我的配置运行 redis-server，然后是

redis-benchmark -q -n 100000 -c 50 -P 12

在内存中存储一​​堆 key 。这使得我的 Mac 上 redis 的内存使用量为 21MB，超过指定限制 1MB。如果我再次运行它，会消耗更多。

根据redis documentation这应该由我的 maxmemory 指令和逐出策略控制，在后续写入时会抛出错误，但我没有发现是这种情况。

为什么 redis-server 消耗的内存比分配的多？

Answer 1

Redis maxmemory 策略控制用户数据内存使用(如注释中的 Itamer Haber sas)。但是这里有一些更复杂的内存计算情况:

• 取决于操作系统。
• 取决于 CPU 和使用的编译器(读作使用的 Redis x86/x64)
• 取决于使用的分配器(Redis 默认为 jemalloc)

在现实世界的应用程序中(如 Redis)，您在内存管理方面的权限有限。因此，您的应用程序将为编译为 x64 或 x86 的同一应用程序占用不同的内存)。在 Redis 的情况下，数据开销最接近内存的 2 倍。

为什么这很重要

每次您将一些数据写入 Redis 时，它都会使用分配器分配或重新分配内存。最后一个 (jemalloc) 对此有复杂的策略。简而言之 - 分配内存大小，排列成最接近的 2 的幂(你需要 17 个字节 - 将分配 32 个字节)。许多 Redis 结构使用相同的策略。例如 HASH(和 ZSET 因为 HASH 在后台使用)使用这样的策略。字符串使用更粗暴的策略——在 REDIS_ENCODING_EMBSTR_SIZE_LIMIT (1 mb) 下将大小加倍(通过重新分配)，或者只分配需要的大小 + REDIS_ENCODING_EMBSTR_SIZE_LIMIT)。

那么，您是否限制了 maxmemory - 操作系统中实际使用的内存可能要多得多，而 Redis 对此无能为力。

附注请勿用于广告。你的问题很接近我。这是 series of articles关于 Redis 中的实际内存使用情况(它们都是俄语，对此感到抱歉。我计划在这个新年周末将它们翻译成英文。之后更新链接在这里。翻译的部分 available here )。