mysql - 从 MySQL bin log 并行处理

Question

我们目前正在将 bin 日志从 Mysql 流式传输到其他数据库。

我们面临的问题是事件的顺序，我们无法进行并行处理，即写在 bin log 中的事件是按时间排序的，我们不能轻易地在下游数据库中进行并行查询插入并在单个数据库中插入连接非常慢，因为下游数据库是柱状数据库。

无论如何，我们是否可以以一种可以有效并行化辅助数据库中的持久性的方式读取事件。

Answer 1

由于 binlog 包含事件流而不是当时的数据快照，..我们无法通过并行事件处理来构建状态。

如果你确定，你的表之间没有依赖关系，那么运行 N(假设你有 N 个表)并行的二进制日志处理器，每个表名都有过滤条件。

另一种方法是将多个依赖表分组为集合，并具有过滤条件以通过单个 binlog 进程处理特定的一组表。您可以拥有尽可能多的集合。