MySQL 执行 "No impact"临时 INSERT 并避免复制锁定

Question

所以，我们正在尝试运行一个屏幕报告，这不会更改任何存储的数据。但是，它很复杂，因此需要遍历几个(TEMPORARY*)表。

它从已复制的事件表中提取数据。

从 中获取“合格”记录时令人讨厌的一点

temp_PreCalc

并从实时数据填充它们以创建下一个(TEMPORARY*)表输出

有效地产生:

插入 temp_PostCalc (...)选择 ...来自 temp_PreCalc加入 live_Tab1 ON ...加入 live_Tab2 ON ...加入 live_Tab3 ON ...

该报告不是“最终”答案，预计这只是一个“快照”报告，一旦出现在屏幕上就会过时。

不存在顺序或再现性问题。

所以理想情况下，我会将事务隔离级别降低为已提交读...但是，我不能，因为 live_Tab1,2,3 是用 BIN_LOG STATEMENT 类型复制的...

该语句非常可爱且快速 - 几乎不需要任何时间来运行，因此资源负载现在比以前少了(它做了单独的选择和插入)，但它等待(据我所知)，因为SELECT 等待 live_Tab 上的可重复/可同步锁定，以便可以安全地复制任何结果。事实上，由于等待，现在需要更多时间。

我希望看到响应时间的性能优势!

除非数据被写入(TEMPORARY*)表，然后被丢弃。

没有 live_ 表目标 - 只有源...

• • 这些表实际上不是临时表，而是动态创建并丢弃的 InnoDB 表，因为报表计算需要自连接和删除...但它们是临时

我现在似乎在兜圈子寻找答案。

<小时/>

我没有 super 权限，也不想要它......因此不能为此连接 session 设置 BIN_LOG=0(为什么这是一个要求？)

所以...

如果我有一个临时数据库或表通配符，它​​将我的所有 temp_“临时”表从复制中排除...(我正在等待我的托管中心完成此更改)

MySQL 允许我吗

设置 session 事务隔离级别已提交读；

插入 temp_PostCalc (...)选择 ...来自 temp_PreCalc加入 live_Tab1 ON ...加入 live_Tab2 ON ...加入 live_Tab3 ON ...;

或者我仍然会得到我的

"Cannot Execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging..."

尽管这在技术上并不正确？我期待它，因为我认为复制将启动只是因为它看到“INSERT”语句，并且将对涉及复制资格的任何表进行简单检查，即使没有一个目标实际上是复制符合资格....

或者它会给我带来惊喜吗？

我真的无法面对使用像这样令人不快的解决方案

选择概要文件加载数据INFILE

事实上，我认为我什至不能使用它 - 我如何获得唯一的文件名？我该如何清理它们？这些报告由最终用户直接按需运行，而我只有 MySQL 接口(interface)访问服务器。

或者通过 PHP 客户端流式传输，只是为了将 INSERT 与 SELECT 分开，这样 MySQL 就不会因为哪些表符合复制条件而感到不安......

Answer 1

所以，看起来唯一的方法是:

我们创建第二个架构“ScratchTemp”...设置可怕的复制 --replicate-ignore-db=ScratchTemp

我的“本地”查询代码打开一个新的 mysql 连接，并执行 USE ScratchTemp；因为我选择了“忽略”数据库的默认数据库 - 我的任何查询都不会被复制。

所以我需要非常小心，不要在这里执行任何真正的查询

通过在我的查询中使用架构限定名作为前缀来引用我的 scrap_ 表和实际数据表...

例如INSERT INTO LiveSchema.temp_PostCalc (...) SELECT ... FROM LiveSchema.temp_PreCalc JOIN LiveSchema.live_Tab1 等，如上所述。

然后尽快关闭此连接，因为坦率地说，打开非复制连接是很危险的......

叹息...?