mysql - 如何在 ETl 中实现零停机

Question

我有一个 ETL 过程，它从事务数据库中获取数据，并在处理后将数据存储到另一个数据库中。在存储数据时，我们正在截断旧数据并存储新数据以获得更好的性能，因为更新比截断插入要花费大量时间。所以在这个过程中，我们会在一段时间内(比如 2 3 分钟)体验到计数为 0 或错误的数据。我们每 8 小时运行一次 ETL。

那么如何避免这个问题呢？我们如何才能实现零停机？

Answer 1

我们过去确实使用过的一种方法是在名为 temp 的表中准备产品数据。然后完成后(并检查，这是我们过程中的冗长部分)，删除 prod 并重命名 prod 中的临时文件。

几乎不花时间，即使其他用户锁定了表，该过程也能成功。