- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章详解MySQL多版本并发控制机制(MVCC)源码由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
作为一个数据库爱好者,自己动手写过简单的sql解析器以及存储引擎,但感觉还是不够过瘾。<<事务处理-概念与技术>>诚然讲的非常透彻,但只能提纲挈领,不能让你玩转某个真正的数据库。感谢cmake,能够让我在mac上用xcode去debug mysql,从而能去领略它的各种实现细节.
(注:本文的mysql采用的是mysql-5.6.35版本) 。
隔离性也可以被称作并发控制、可串行化等。谈到并发控制首先想到的就是锁,mysql通过使用两阶段锁的方式实现了更新的可串行化,同时为了加速查询性能,采用了mvcc(multi version concurrency control)的机制,使得不用锁也可以获取一致性的版本.
mysql的通过mvcc以及(next-key lock)实现了可重复读(repeatable read),其思想(mvcc)就是记录数据的版本变迁,通过精巧的选择不同数据的版本从而能够对用户呈现一致的结果。如下图所示
上图中,(a=50|b=50)的初始版本为1.
1.事务t1在select a时候看到的版本为1,即a=50 。
2.事务t2对a和b的修改将版本升级为2,即a=0,b=100 。
3.事务t1再此select b的时候看到的版本还是1, 即b=50 。
这样就隔离了版本的影响,a+b始终为100.
而如果不通过版本控制机制,而是读到最近提交的结果的话,则隔离级别是read commit,如下图所示
在这种情况下,就需要使用锁机制(例如select for update)将此a,b记录锁住,从而获得正确的一致结果,如下图所示:
当我们要对一些数据做一些只读操作来检查一致性,例如检查账务是否对齐的操作时候,并不希望加上对性能损耗很大的锁。这时候mvcc的一致性版本就有很大的优势了.
本节就开始谈谈mvcc的实现机制,注意mvcc仅仅在纯select时有效(不包括select for update,lock in share mode等加锁操作,以及update\insert等).
首先我们追踪一下一条普通的查询sql在mysql源码中的运行过程,sql为(select * from test),
其运行栈为
handle_one_connection mysql的网络模型是one request one thread 。
|-do_handle_one_connection 。
|-do_command 。
|-dispatch_command 。
|-mysql_parse 解析sql 。
|-mysql_execute_command 。
|-execute_sqlcom_select 执行select语句 。
|-handle_select 。
...一堆parse join 等的操作,当前并不关心 。
|-*tab->read_record.read_record 读取记录 。
由于mysql默认隔离级别是repeatable_read(rr),所以read_record重载为 rr_sequential(当前我们并不关心select通过index扫描出row之后再通过condition过滤的过程)。继续追踪
read_record 。
|-rr_sequential 。
|-ha_rnd_next 。
|-ha_innobase::rnd_next 这边就已经到了innodb引擎了 。
|-general_fetch 。
|-row_search_for_mysql 。
|-lock_clust_rec_cons_read_sees 这边就是判断并选择版本的地方 。
让我们看下该函数内部
1
2
3
4
5
6
7
|
bool lock_clust_rec_cons_read_sees(const rec_t* rec /*由innodb扫描出来的一行*/,....){
...
// 从当前扫描的行中获取其最后修改的版本trx_id(事务id)
trx_id = row_get_rec_trx_id(rec,
index
, offsets);
// 通过参数(一致性快照视图和事务id)决定看到的行快照
return
(read_view_sees_trx_id(
view
, trx_id));
}
|
我们先关注一致性视图的创建过程,我们先看下read_view结构
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
struct read_view_t{
// 由于是逆序排列,所以low/up有所颠倒
// 能看到当前行版本的高水位标识,>= low_limit_id皆不能看见
trx_id_t low_limit_id;
// 能看到当前行版本的低水位标识,< up_limit_id皆能看见
trx_id_t up_limit_id;
// 当前活跃事务(即未提交的事务)的数量
ulint n_trx_ids;
// 以逆序排列的当前获取活跃事务id的数组
// 其up_limit_id<tx_id<low_limit_id
trx_id_t* trx_ids;
// 创建当前视图的事务id
trx_id_t creator_trx_id;
// 事务系统中的一致性视图链表
ut_list_node_t(read_view_t) view_list;
};
|
然后通过debug,发现创建read_view结构也是在上述的rr_sequential中操作的,继续跟踪调用栈
rr_sequential 。
|-ha_rnd_next 。
|-rnd_next 。
|-index_first 在start_of_scan为true时候走当前分支index_first 。
|-index_read 。
|-row_search_for_mysql 。
|-trx_assign_read_view 。
我们看下row_search_for_mysql里的一个分支
1
2
3
4
5
6
|
row_search_for_mysql:
// 这边只有
select
不加锁模式的时候才会创建一致性视图
else
if (prebuilt->select_lock_type == lock_none) { // 创建一致性视图
trx_assign_read_view(trx);
prebuilt->sql_stat_start =
false
;
}
|
上面的注释就是select for update(in share model)不会走mvcc的原因。让我们进一步分析trx_assign_read_view函数
trx_assign_read_view 。
|-read_view_open_now 。
|-read_view_open_now_low 。
好了,终于到了创建read_view的主要阶段,主要过程如下图所示
代码过程为
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
static
read_view_t* read_view_open_now_low(trx_id_t cr_trx_id,mem_heap_t* heap)
{
read_view_t*
view
;
// 当前事务系统中max_trx_id(即尚未被分配的trx_id)设置为low_limit_no
view
->low_limit_no = trx_sys->max_trx_id;
view
->low_limit_id =
view
->low_limit_no;
// createview构造函数,会将非当前事务和已经在内存中提交的事务给剔除,即判断条件为
// trx->id != m_view->creator_trx_id&& !trx_state_eq(trx, trx_state_committed_in_memory)的
// 才加入当前视图列表
ut_list_map(trx_sys->rw_trx_list, &trx_t::trx_list, createview(
view
));
if (
view
->n_trx_ids > 0) {
// 将当前事务系统中的最小id设置为up_limit_id,因为是逆序排列
view
->up_limit_id =
view
->trx_ids[
view
->n_trx_ids - 1];
}
else
{
// 如果当前没有非当前事务之外的活跃事务,则设置为low_limit_id
view
->up_limit_id =
view
->low_limit_id;
}
// 忽略purge事务,purge时,当前事务id是0
if (cr_trx_id > 0) {
read_view_add(
view
);
}
// 返回一致性视图
return
(
view
);
}
|
由上面的lock_clust_rec_cons_read_sees可知,行版本可见性由read_view_sees_trx_id函数判断
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
/*********************************************************************//**
checks if a
read
view
sees the specified
transaction
.
@
return
true
if sees */
univ_inline
bool
read_view_sees_trx_id(
/*==================*/
const read_view_t*
view
, /*!<
in
:
read
view
*/
trx_id_t trx_id) /*!<
in
: trx id */
{
if (trx_id <
view
->up_limit_id) {
return
(
true
);
}
else
if (trx_id >=
view
->low_limit_id) {
return
(
false
);
}
else
{
ulint
lower
= 0;
ulint
upper
=
view
->n_trx_ids - 1;
ut_a(
view
->n_trx_ids > 0);
do {
ulint mid = (
lower
+
upper
) >> 1;
trx_id_t mid_id =
view
->trx_ids[mid];
if (mid_id == trx_id) {
return
(
false
);
}
else
if (mid_id < trx_id) {
if (mid > 0) {
upper
= mid - 1;
}
else
{
break;
}
}
else
{
lower
= mid + 1;
}
} while (
lower
<=
upper
);
}
return
(
true
);
}
|
其实上述函数就是一个二分法,read_view其实保存的是当前活跃事务的所有事务id,如果当前行版本对应修改的事务id不在当前活跃事务里面的话,就返回true,表示当前版本可见,否则就是不可见,如下图所示.
接上述lock_clust_rec_cons_read_sees的返回
1
2
3
4
5
6
7
8
9
10
11
12
|
if (univ_likely(srv_force_recovery < 5)
&& !lock_clust_rec_cons_read_sees(
rec,
index
, offsets, trx->read_view)){
// 当前处理的是当前版本不可见的情况
// 通过undolog来返回到一致的可见版本
err = row_sel_build_prev_vers_for_mysql(
trx->read_view, clust_index,
prebuilt, rec, &offsets, &heap,
&old_vers, &mtr);
}
else
{
// 可见,然后返回
}
|
我们现在考察一下row_sel_build_prev_vers_for_mysql函数
row_sel_build_prev_vers_for_mysql 。
|-row_vers_build_for_consistent_read 。
主要是调用了row_ver_build_for_consistent_read方法返回可见版本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
dberr_t row_vers_build_for_consistent_read(...)
{
......
for
(;;){
err = trx_undo_prev_version_build(rec, mtr,version,
index
,*offsets, heap,&prev_version);
......
trx_id = row_get_rec_trx_id(prev_version,
index
, *offsets);
// 如果当前row版本符合一致性视图,则返回
if (read_view_sees_trx_id(
view
, trx_id)) {
......
break;
}
// 如果当前row版本不符合,则继续回溯上一个版本(回到
for
循环的地方)
version = prev_version;
}
......
}
|
整个过程如下图所示
至于undolog怎么恢复出对应版本的row记录就又是一个复杂的过程了,由于篇幅原因,在此略过不表.
在创建一致性视图的row_search_for_mysql的代码中 。
1
2
3
4
5
|
// 只有非锁模式的
select
才创建一致性视图
else
if (prebuilt->select_lock_type == lock_none) { // 创建一致性视图
trx_assign_read_view(trx);
prebuilt->sql_stat_start =
false
;
}
|
trx_assign_read_view中由这么一段代码 。
1
2
3
4
5
6
|
// 一致性视图在一个事务只创建一次
if (!trx->read_view) {
trx->read_view = read_view_open_now(
trx->id, trx->global_read_view_heap);
trx->global_read_view = trx->read_view;
}
|
所以综合这两段代码,即在一个事务中,只有第一次运行select(不加锁)的时候才会创建一致性视图,如下图所示
笔者构造了此种场景模拟过,确实如此.
mysql是通过mvcc和二阶段锁(2pl)来兼顾性能和一致性的,但是由于mysql仅仅在select时候才创建一致性视图,而在update等加锁操作的时候并不做如此操作,所以就会产生一些诡异的现象。如下图所示
如果理解了update不走一致性视图(read_view),而select走一致性视图(read_view),就可以很好解释这个现象。 如下图所示
mysql为了兼顾性能和acid使用了大量复杂的机制,2pl(两阶段锁)和mvcc就是其实现的典型。幸好可以通过xcode等ide进行方便的debug,这样就可以非常精确加便捷的追踪其各种机制的实现。希望这篇文章能够帮助到喜欢研究mysql源码的读者们.
以上就是详解mysql多版本并发控制机制(mvcc)源码的详细内容,更多关于mysql 并发控制机制 mvcc的资料请关注我其它相关文章! 。
原文链接:https://www.cnblogs.com/alchemystar/p/13784292.html 。
最后此篇关于详解MySQL多版本并发控制机制(MVCC)源码的文章就讲到这里了,如果你想了解更多关于详解MySQL多版本并发控制机制(MVCC)源码的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 hive 创建 Hbase 表 hive (default)> CREATE TABLE
我试图为 electron app 创建可执行文件但面临这个问题 Unable to determine Electron version. Please specify an Electron ve
我正在尝试让自适应阈值在 python 绑定(bind)到 opencv 中工作(swig 一个 - 无法让 opencv 2.0 工作,因为我正在使用 beagleboard 因为交叉编译还没有工作
我一直在 linux 机器上使用 JMeter,在命令行下使用了一段时间。工作正常。 今天,我在 Windows 机器(新客户端等)上尝试了它,它确实可以工作,但在控制台窗口中输出有很大不同。 Lin
在我的编码环境中,我通常使用最新版本的 Java 和 Eclipse。当我编写源代码时,我不会注意我使用的 API 方法或类是否向后兼容旧版本的 Java 或 Eclipse。在 javadoc 中存
问题是关于版本的特定组合,但更普遍。 我刚刚从 Kubuntu 12.04 升级到 14.04。现在,当我想编译 CUDA 代码(使用 CUDA 6.5)时,我得到: #error -- unsupp
我目前正在对我的一些应用程序进行沙箱处理,看来我必须删除一些功能才能满足 Mac App Store 沙箱(和其他)规则。 显然用户不会因为失去功能而感到高兴,我担心他们不会指责苹果制定了愚蠢的规则,
我用 flash 和 js 版本创建了一个动画横幅。 是否可以检测低于版本 9 的 ie 版本,然后提供 Flash 横幅,否则提供 js 横幅。 最佳答案 您可以使用条件注释来检测 IE 版本
我有一个处理不同位置的数据库的应用程序,我想检查这些数据库是否使用 Firebird 2.5 或更高版本打开。我们最近从 Firebird 2.0 迁移到了 2.5,我们有很多数据库可以响应 sele
我正在开发一个应用程序,我使用托管在我的服务器上的 Java 和 Jersey 构建了后端部分。我在服务器上使用 Tomcat7 来调用 Web 服务。 我以前有一台安装了 Ubuntu 的计算机,我
我可以使用 GetVersionEx() 函数来获取 Windows 版本,但是这个函数将返回一个数字而不是一个字符串。但是没有问题,因为我可以将数字转换为字符串,例如: if (osvi.dwMaj
我已经在我的系统中安装了 Anaconda 2 & 3。 Anaconda 2 包含 python 2.7 & Anaconda 3 包含 python 3.6。 我需要使用命令提示符运行我的 pyt
我正在尝试构建一个 Android 项目,但发生了以下错误 Error:(10, 1) A problem occurred evaluating project ':app'. > Failed t
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 4 年前。 Improve this qu
在降级我的 GCC 之前,我想知道是否有办法确定我的机器中的哪些程序/框架或依赖项会中断,以及是否有更好的方法来执行 openpose 安装? (例如,在 CMake 中更改某些内容) 有没有办法在不
我已经在终端的代码sudo apt-get install Shadowsocks-qt5中安装了Shadowsocks-Qt5,然后我可以通过搜索找到启动图标,但是它当我点击图标时打不开。然后我尝试
在网络上找到的文档说,MLLP V2(第 2 版)是用于传输 HL7 版本 3 内容的所有消息传输协议(protocol)的要求。似乎 MLLP 第 2 版主要用于 HL7 第 3 版。 我们可以/应
我正在使用带有 selinium webdriver 的 Protractor 。我的chromeDriver版本是78.0.1,chrome版本是78.0.3904.97。两个版本都匹配,应该不会有
我正在按照教程设置 mysql 数据库并做一些事情。我无法找到数据库资源管理器。我读了很多,但在 Window->show View-> Dataxxx 或右侧上部选项卡中无法正常工作。 最佳答案 从
我已经在 KDE 桌面上安装了 Anaconda 2.0.1。当我运行 python 并看到所有已安装的模块时,我收到此消息“无法将不兼容的 Qt 库(版本 0x40801)与该库(版本 0x4080
我是一名优秀的程序员,十分优秀!