database - Redis + “source of truth” 数据库一致性

Question

我正在构建一个分析工具，但在基于时间序列的指标方面遇到了一些性能问题。我一直在试验 Redis + bitmapist，这让我可以在写入数据库时​​急切地准备指标，并且对性能非常满意。

但是，我对如何确保我的数据库和 Redis 保持同步感到有点困惑。我的数据库是存储所有事件数据的“真实来源”，但用户仪表板将依赖 Redis 来显示指标。

我是否应该定期完全重建我的 Redis 指标以确保我的数据库和 Redis 之间没有差异？ (ex: 当一个事件发生时，它写入了DB，但是没有写入Redis)

如果我的 Redis 服务器出现故障，将需要很长时间来重新处理所有事件并重建指标。我的仪表板是否应该查询数据库作为备份计划，即使特定指标的数据库查询逻辑与 Redis 查询逻辑完全不同？

Answer 1

本质上你在这里指的是保持缓存一致性的问题。

首先，您需要确定仪表板的陈旧程度。一旦你有了它，就用它作为你的限制，并为存储在 Redis 中的数据设置一个过期时间。请注意，您如何准确地执行此操作与您选择如何将结果存储在 Redis 中紧密相关。

接下来让您的仪表板执行“获取或存储”序列。这意味着您首先查询 Redis 设置以获取数据，如果找到，则显示它。如果未找到，则查询源数据库，将结果存储在 Redis 中，设置适当的到期时间并显示它。对于重新启动或重新启动缓存预热，让 Redis 持久保存到磁盘(默认情况下这样做)并且您不会在重新启动时丢失条目 - 当然过期的条目除外。

此过程将最大限度地降低数据过时的风险，同时根据请求提供数据的直接更新。另一种选择是将原始数据库中存储事件的任何内容也存储在 Redis 中。然而，该选项将意味着完全复制数据，而不是仅保留 Redis 仪表板中的“热门”或“选择”项目以提高仪表板性能。