kubernetes - Redis - 使用集群避免数据丢失(使用 Gossip 协议(protocol))

Question

我们想在 2 个数据中心的 Kubernetes 上部署 Airflow 应用程序。

Airflow Schedular 容器每 1 分钟、5 分钟和 10 分钟生成 DAG。这些 DAG 是将分配给 Airflow Worker 容器的任务。

在给 Airflow worker 分配任务的过程中，Airflow Schedular 会将任务的数据发送给 MariaDb(可以认为是 Truth 的来源)和 Redis。

在 MariaDB 中，任务可以具有以下状态之一' queued ', ' running ', ' success ', ' failed '。当任务在 Redis 中时，它将处于“queued”状态'。

MariaDB 在从 Airflow Schedular 接收任务时保持相同。当 Redis 移交特定的队列任务时
对于 Worker 容器，MariaDB 将该特定任务状态更改为“正在运行”，如果它完成执行过程，MariaDB 中的任务状态将更改为“成功”。

实际问题:

当 Redis 失败时，我们在 MariaDB 中排队了任务，但我们会丢失 Redis 中的数据。当 k8s 启动新的 Redis 服务器时，它会丢失以前的任务——这就是 DATA LOSS。

有什么办法可以解决这个问题。

我们可以使用 Redis Clustering - Gossip protocol为避免数据丢失:

如果是，您能否提供使用此协议(protocol)解决此问题的任何文档。
否则提供适合我的环境和场景的建议。

Answer 1

Redis 集群会对此有所帮助，但设置起来有点麻烦，而且它不能完全替代备份。

在您的情况下，我认为一个更简单的解决方案是在您的 redis pod 启动中合并一个恢复过程。由于您拥有 MariaDB 真实数据源，因此不会出现永久性数据丢失，因此您可以添加一个运行脚本以从 MariaDB 恢复 redis 数据的 init 容器。

另一种可以显着限制您的问题的方法是使用持久卷来存储 redis 数据，因为 redis 可以定期对它的内存状态进行快照。使用 StatefulSet 而不是 Deployment 来管理您的 Redis 节点 pod 将在重新启动/重新调度时重新附加存储，并且您不会体验到数据丢失(或者最多是自上次快照以来的小窗口)