恢复复制后 Master 上的 MySql 复制性能

Question

当前配置是基本的Master->Slave复制。每天晚上，各种数据导入作业在 master 上运行。在此期间，slave 复制关闭，流量指向 Slave(以免引起数据加载作业的性能瓶颈/惩罚影响)。

当作业完成时，复制将重新打开(在从站上)......目的是在不久之后将流量指向从站(一旦从站同步备份)。但问题是此时 Master 存在严重的性能问题。大概是因为 slave I/O Thread 正在努力工作以获取从 Master 复制过来的所有数据。

作为替代解决方案，“只”关闭从服务器上的“SQL 线程”(保持 IO 线程一直运行)，以免轰炸主服务器(稍后......一次全部)，一旦复制恢复。然而，这种方法的问题(显然)是，现在从属设备正在引发持续的性能问题，而主设备正在运行繁重的数据加载作业(因为 IO 线程一直处于打开状态并在其中移动数据)。

所以问题是，如何在不影响主服务器或从服务器性能的情况下，如何在从服务器上启动/停止复制(根据我的数据加载计划/要求)？似乎您应该能够完全关闭复制，然后在以后重新打开它而不影响主服务器？？

提前致谢!

Answer 1

你能描述负载问题的特征吗？是iowait挂了，还是master和slave之间的网络连接饱和了？您的服务器有多少内存？

您可以改进后者，方法是在主从之间架设交叉电缆，并通过它路由所有复制流量，使其远离您的 LAN。

如果前者是问题所在，我会说您最好的选择是让自己拥有更多和/或更快的磁盘，甚至是 SSD!您还可以将二进制日志记录到单独的磁盘，这样就不会减慢查询事件。

总的来说，这听起来像是您遇到了容量问题，您需要提供足够的资源来处理您指向它的负载——再多的杂耍也无法让您解决这个问题。我还没有遇到二进制日志记录是限制因素的配置。任何基本的 RAID 配置都应该至少处理 300M/秒，要成为一个问题，你需要一次保持超过 30 秒，这意味着你需要每晚移动超过 9Gb 的二进制日志- 你真的产生了那么多数据吗？

另一种选择是使用 DRBD for replication - 这样从服务器就不必运行复制的查询或处理二进制日志，尽管它有其他复杂性。