caching - Cache put item并发和吞吐量

Question

大多数 CDN 服务器对经常访问的内容使用缓存。

场景:假设有人上传了一张非常热门的图片，并且来自同一位置的许多用户 (1000) 试图访问该图片。

问题:假设网络服务器收到一个请求，首先检查它的缓存，它发现该图片的内容丢失并从 CDN 中提取内容。如果拉取需要 x 秒，服务器同时收到 999 个相同内容的请求。

服务器是否会从服务器获取内容 999 次(因为服务器仍在拉取数据并且缓存中没有数据)并更新缓存？

如果不是，服务器实现什么方案来避免这种情况。

Answer 1

可以在服务器端加锁，避免对CDN的请求过多。

当服务器收到请求时:

1. 工作线程检查 key 是否存在。如果键存在，则返回值。
2. 如果键不存在，即缓存未命中，工作线程会尝试锁定互斥量。
3. 如果锁定成功，此工作线程会从 CDN 获取数据、更新缓存并解锁互斥量。
4. 如果这个线程无法锁定互斥量，即其他线程正在向 CDN 发送请求，它会休眠一段时间，例如1 秒，然后转到步骤 1 重试整个过程。

如果你有很多服务器，并且缓存在这些服务器之间共享，即多个进程。您可以使用分布式锁，例如Redis 的 SETNX。

但是，在这种情况下，您需要注意第 3 步:如果服务器成功锁定，但在解锁前崩溃。其他服务器将永远等待。所以你还需要给锁设置一个过期时间。