- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章MySQL 主从同步,事务回滚的实现原理由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
。
BinLog是记录所有数据库表结构变更(例如create、alter table)以及表数据修改(insert、update、delete)的二进制日志,主从数据库同步用到的都是BinLog文件。BinLog日志文件有三种模式.
STATEMENT 模式 。
内容:binlog 只会记录引起数据变更的 sql 语句 。
优势:该模式下,因为没有记录实际的数据,所以日志量和 IO 都消耗很低,性能是最优的 。
劣势:但有些操作并不是确定的,比如 uuid() 函数会随机产生唯一标识,当依赖 binlog 回放时,该操作生成的数据与原数据必然是不同的,此时可能造成无法预料的后果.
ROW 模式 。
内容:在该模式下,binlog 会记录每次操作的源数据与修改后的目标数据,StreamSets就要求该模式.
优势:可以绝对精准的还原,从而保证了数据的安全与可靠,并且复制和数据恢复过程可以是并发进行的 。
劣势:缺点在于 binlog 体积会非常大,同时,对于修改记录多、字段长度大的操作来说,记录时性能消耗会很严重。阅读的时候也需要特殊指令来进行读取数据.
MIXED 模式 。
内容:是对上述STATEMENT 跟 ROW 两种模式的混合使用.
细节:对于绝大部分操作,都使用 STATEMENT 来进行 binlog 的记录,只有以下操作使用 ROW 来实现:表的存储引擎为 NDB,使用了uuid() 等不确定函数,使用了 insert delay 语句,使用了临时表 。
主从同步流程:
1、主节点必须启用二进制日志,记录任何修改了数据库数据的事件.
2、从节点开启一个线程(I/O Thread)把自己扮演成 mysql 的客户端,通过 mysql 协议,请求主节点的二进制日志文件中的事件 .
3、主节点启动一个线程(dump Thread),检查自己二进制日志中的事件,跟对方请求的位置对比,如果不带请求位置参数,则主节点就会从第一个日志文件中的第一个事件一个一个发送给从节点.
4、从节点接收到主节点发送过来的数据把它放置到中继日志(Relay log)文件中。并记录该次请求到主节点的具体哪一个二进制日志文件内部的哪一个位置(主节点中的二进制文件会有多个).
5、从节点启动另外一个线程(sql Thread ),把 Relay log 中的事件读取出来,并在本地再执行一次.
mysql默认的复制方式是异步的,并且复制的时候是有并行复制能力的。主库把日志发送给从库后不管了,这样会产生一个问题就是假设主库挂了,从库处理失败了,这时候从库升为主库后,日志就丢失了。由此产生两个概念.
主库写入binlog后强制同步日志到从库,所有的从库都执行完成后才返回给客户端,但是很显然这个方式的话性能会受到严重影响.
半同步复制的逻辑是这样,从库写入日志成功后返回ACK确认给主库,主库收到至少一个从库的确认就认为写操作完成.
。
binlog跟redolog区别:
在MySQL中如果每一次的更新操作都需要写进磁盘,然后磁盘也要找到对应的那条记录,然后再更新,整个过程IO成本、查找成本都很高。先写日志,再写磁盘BinLog,RedoLog.
1、 记录更新时,InnoDB引擎就会先把记录写到RedoLog(里面,并更新内存。同时,InnoDB引擎会在空闲时将这个操作记录更新到磁盘里面.
2、 如果更新太多RedoLog处理不了的时候,需先将RedoLog部分数据写到磁盘,然后擦除RedoLog部分数据.
RedoLog的write pos 跟checkpoint 。
RedoLog有write pos 跟checkpoint 。
write pos :是当前记录的位置,一边写一边后移,写到第3号文件末尾后就回到0号文件开头.
check point:缩短数据库的恢复时间,buffer pool空间不够用时,将脏页刷新到磁盘,redolog不可用时,刷新脏页 。
redo log顺序写实际上是循环写固定几个文件,写满一轮就要从头开始覆盖。它包括两个位点,check point和write pos,write pos是写到那个位置了,循环往后递增,check point是当前要擦除的位置。二者中间的空间是可写入的,当write pos追上check point时,就会先停下更新,覆盖掉一些记录,然后继续写入redo log.
redo log 的crash-safe 。
MySQL支持用户自定义在commit时如何将log buffer中的日志刷log file中。这种控制通过变量 innodb_flush_log_at_trx_commit 的值来决定。该变量有3种值:0、1、2,默认为1。但注意,这个变量只是控制commit动作是否刷新log buffer到磁盘.
在主从复制结构中,要保证事务的持久性和一致性,需要对日志相关变量设置为如下:
上述两项变量的设置保证了:每次提交事务都写入二进制日志和事务日志,并在提交时将它们刷新到磁盘中.
有了redo log,InnoDB就可以保证即使数据库发生异常重启,之前提交的记录都不会丢失,这个能力称为crash-safe。redolog两阶段提交`:为了让binlog跟redolog两份日志之间的逻辑一致。提交流程大致如下:
1 prepare阶段 --> 2 写binlog --> 3 commit 。
1.当在2之前崩溃时,重启恢复后发现没有commit,回滚。备份恢复:没有binlog 。一致 2.当在3之前崩溃时,重启恢复发现虽没有commit,但满足prepare和binlog完整,所以重启后会自动commit。备份:有binlog. 一致 。
。
undo log有两个作用:提供回滚和多个行版本控制(MVCC).主要分为两种 。
在数据修改的时候,不仅记录了redo,还记录了相对应的undo,如果因为某些原因导致事务失败或回滚了,可以借助该undo进行回滚。当delete一条记录时,undo log中会记录一条对应的insert记录,反之亦然,当update一条记录时,它记录一条对应相反的update记录.
当执行rollback时,就可以从undo log中的逻辑记录读取到相应的内容并进行回滚 。
代表事务在insert新记录时产生的undo log, 只在事务回滚时需要,并且在事务提交后可以被立即丢弃 。
事务在进行update或delete时产生的undo log; 不仅在事务回滚时需要,在快照读时也需要;所以不能随便删除,只有在快速读或事务回滚不涉及该日志时,对应的日志才会被purge线程统一清除 。
以上就是MySQL 主从同步,事务回滚的实现原理的详细内容,更多关于MySQL 主从同步,事务回滚的资料请关注我其它相关文章! 。
原文链接:https://juejin.cn/post/6907131117229801480 。
最后此篇关于MySQL 主从同步,事务回滚的实现原理的文章就讲到这里了,如果你想了解更多关于MySQL 主从同步,事务回滚的实现原理的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
如果我执行以下操作 session.getTransaction().rollback(); 然后可以/可以在同一个 session 对象上开始调用保存/更新/删除等吗?无法在 Hibernate S
在Sqlite3中,有没有办法在提交事务后回滚到某个点? 如果您想知道如果我不确定我为什么要提交一个语句,原因是我在 C++ 接口(interface)内使用 Sqlite,只有在我提交事务时才会保存
经过一段时间的阅读和测试不同形式的加载EntityManager实例和bean以进行一些嵌套事务,最后我没有找到一种方法,在运行时异常之后,数据进行完全回滚,必须接近阶段到什么我想要的是只有一个实体保
我们有一个应用程序,它读取 JMS 并执行一些数据库事务,所有这些都是 XA 事务的一部分。如果我们发现消息有问题,我们想要回滚数据库,但我们不希望 JMS 回滚让我们再次读取消息(如果先前已启动回滚
我有一个情况,我需要回滚数据库上的更改,而且我想保留插入的日志。 插图: Add processing log Insert some data Insert some data Insert
我定义了这样一个函数- ... DECLARE EXIT HANDLER FOR SQLEXCEPTION ROLLBACK; DECLARE EXIT HANDLER FOR SQLWARNING
我的应用程序中有一个模型和一个类似商店的东西。模型对象使用 promise 等待存储中的数据。 但在某些情况下我需要删除模型,但因为我使用了 promise 我的模型仍处于关闭状态并且 GC 无法清理
我错误地触发了更新查询,并且 dat 字段中表中的所有记录都已更新,并且由于 auto_commit 处于打开状态,因此也无法回滚。 还有其他方法可以检索记录吗? 最佳答案 我不认为一旦提交查询/事务
我了解我可以使用 MySql 的命令 BACKUP 和 RESTORE 来备份数据库并在需要时回滚。 我的问题是,我是否能够以这种方式执行它: sql="BACKUP my_db TO DISK my
如果 MySQL 中仍有未提交/未回滚的事务,如何让我的事务等待? 目前,我在代码端进行事务处理,而不是在数据库存储过程端,如下所示: cmd.Connection.BeginTransaction(
这是以下内容的后续内容: php/mysql transaction not rolling back on failure (Codeigniter framework) 我在上面的链接中实现了建议
我只是构建了一个存储过程来测试 mysql 中的事务。 但不知何故它不起作用。 这是我的代码: USE `test`; DROP procedure IF EXISTS `testTran`; DEL
我有一个 Service Fabric 应用程序。比方说,版本 1.0.0。我将更新部署为版本 2.0.0。一切都很好。 稍后,我想回滚(或根据您的观点升级)到版本 1.0.0。 我想运行一个简单的P
我不知道这是否正确,但由于某种原因,我的存储过程在发生异常后没有回滚。所以即使我遇到异常,我的插入语句也会被提交 我忘记了什么吗? PROCEDURE SP_USUARIO_INSERT
这个问题与我的问题有关:SQL Server and TransactionScope (with MSDTC): Sporadically can't get connection 我正在使用 .n
登录到我正在使用的Oracle数据库的用户没有提交或回滚就注销了,现在我的数据库无法更改,它似乎已被锁定。 我试过了 rollback 但这没用。 有什么想法吗? 谢谢。 最佳答案 不提交或不回滚就
这只是一个 RStudio 界面问题: 当回滚控制台查看我的工作和输出时,我只能回滚到目前为止。有没有办法打开控制台并回滚我所做的一切? 有时我想检查一个很长的列表的结果,或者我忘记在脚本框而不是控制
是否可以在 Heroku 上撤消回滚? 我必须在实时环境中尝试一些东西,进行测试,然后恢复到原始状态(在回滚之前)。 Heroku 是否能够顺利做到这一点,否则会导致问题? 最佳答案 是的,您可以滚动
我想要 仅回滚: 回滚:2015_05_15_195423_alter_table_web_directories 我运行 php artisan migrate:rollback,我的 3 个迁移正
我正在使用 MQQueueSession.rollback() 来回滚工作单元。消息被移至 BACKOUT 队列,这样就可以了。 问题是如何处理回退队列中的这些消息?我读到我可以使用 runmqdlq
我是一名优秀的程序员,十分优秀!