django - 在 memcached 过期场景中避免 dog-piling 或 thundering herd

Question

我有一个非常昂贵的查询结果。它是几个表的连接和一个 map reduce 作业。

这在 memcached 中缓存了 15 分钟。一旦缓存过期，显然会运行查询并再次预热缓存。

但在到期时 thundering herd problem问题可能发生。

解决此问题的一种方法是运行在第 14 分钟开始的计划任务。但不知何故，这对我来说看起来非常次优。

我喜欢的另一种方法是 nginx 的 proxy_cache_use_stale updating;机制。

网络服务器/机器继续提供陈旧的缓存，而线程在过期发生时启动并更新缓存。

虽然我知道这是客户端策略，但有人将此应用于 memcached 场景吗？

如果有好处，我会使用 Django。

Answer 1

你可以看看 https://github.com/ericflo/django-newcache