草庐IT

【MySQL】MVCC详解与MVCC实现原理(MySQL专栏启动)

小明java问道之路 2023-10-29 原文

📫作者简介:小明java问道之路,专注于研究 Java/ Liunx内核/ C++及汇编/计算机底层原理/源码,就职于大型金融公司后端高级工程师,擅长交易领域的高安全/可用/并发/性能的架构设计与演进、系统优化与稳定性建设。

📫 热衷分享,喜欢原创~ 关注我会给你带来一些不一样的认知和成长。

  

🏆 InfoQ签约作者、CSDN专家博主/后端领域优质创作者/内容合伙人、阿里云专家/签约博主、51CTO专家 🏆

  

🔥如果此文还不错的话,还请👍关注、点赞、收藏三连支持👍一下博主~ 

本文目录

本文导读

一、什么是MVCC

二、MVCC的实现原理

1、MVCC多版本实现

2、MVCC 实现原理

3、什么是 Read View

3.1、Read View 解析

3.2、Read View 含义

3.3、Read View 如何判断版本链可用

三、当前读,快照读与MVCC

1、什么是当前读和快照读

1.1、当前读

1.2、快照读

2、快照读、当前读与MVCC辨析

3、MVCC 只在 RC 和 RR 隔离级别下工作

总结


本文导读

本文是:MySQL事务隔离机制与实现原理详解,的深入学习,我们在了解MySQL事务隔离机制与实现原理后,了解什么是MVCC,MVCC的实现原理,最后辨析当前读和快照读与MVCC和事务隔离的关系,更加全面和深入的MySQL事务隔离机制。

一、什么是MVCC

MVCC,全称 Multi-Version Concurrency Control ,MVCC是多版本并发控制的全称,是指多版本的并发控制。MVCC是一种并发控制方法。通常,在数据库管理系统中,它用编程语言实现对数据库和事务存储器的并发访问。

MVCC 是一种在读取数据时无需锁定(加锁)即可提高读取效率和并发性的方法。

数据库并发有以下情况:

1、读-读:没有问题。

2、读-写:存在线程安全问题,这可能导致脏读、幻读和不可重复读。

3、写-写:存在线程安全问题,更新可能会丢失。

二、MVCC的实现原理

首先我们回顾:MySQL事务隔离机制与实现原理详解

这里面讲解了,事务的特性、事务的隔离级别,当时说MySQL事务实现原理有单版本控制——锁,以及多版本控制MVCC。

现在我们需要知道,在读已提交RC,Read Committed)和可重复读RR,Repeatable Read)隔离级别下的快照读,都是基于MVCC实现的!

MVCC最大的优点是没有读锁,读写之间没有冲突。在读多写少的OLTP(On-Line Transaction Processing,联机事务处理)应用程序中,读写之间没有冲突非常重要,这大大提高了系统的并发性。

1、MVCC多版本实现

为了让您更直观地理解MVCC的实现原理,这里通过事务更新一行记录的过程的例子,来解释MVCC中多个版本的实现。

假设 ID~……是表中字段的名称(DATA)。最后三个隐藏字段对应对应行的隐藏ID、事务编号和回滚指针,如下图所示:

隐含ID(DB_ROW_ID),6字节,当InnoDB自动生成聚集索引时,聚集索引包括这个DB_ROW_ ID的值。

事务编号(DB_TRX_ID),6字节,它标记了此行最新更新记录的事务ID。每个事务都被处理,其值自动为+1。

回滚指针(DB_ROLL_PT),7个字节,指向当前记录项的回滚段的撤消日志记录,通过该记录可以找到以前版本的数据。

具体更新过程简述如下:

首先,如果数据只是INSERT,则可以认为ID是 1,其他两个字段为空。

当 事务1 更改此行的数据值时,将执行,一、使用独占锁锁定行,记录重做日志;二、将修改前这一行的值复制到Undo日志;三、修改当前行的值,填写事务ID,并使回滚指针指向撤销日志中修改前的行。

接下来,与 事务1 相同。此时,undo 日志中有两行记录,它们由回滚指针连接。

因此,如果撤消日志没有一直被删除,那么当前记录的回滚指针将追溯到创建该行时的初始内容。InnoDB中有一个清除线程,将查询比最旧的活动事务更早的撤消日志并将其删除,从而确保撤消日志文件不会无限增长。

2、MVCC 实现原理

它的实现原理主要是依赖记录中的 3个隐式字段(DB_ROW_ID、DB_TRX_ID、DB_ROLL_PT),undo日志 , Read View 来实现的。

上面我们已经详细介绍了3个隐式字段的含义,总结一下

默认情况下,DB_ROW_ID 是数据库为这行记录生成的唯一隐式主键。DB_TRX_ID 是当前操作记录的事务ID,而 DB_ROLL_PTR 是一个回滚指针,与撤消日志一起使用以指向以前的旧版本。

有两种 undo 日志:insert undo log、update undo log,帮助MVCC的撤销的本质是update undo log 。事实上,撤消日志是回滚段中的旧记录链。(MySQL日志系统的详解:(待补充))。

3、什么是 Read View

什么是 Read View

Read View  是事务执行快照读取操作时生成的视图。在事务执行快照读取时,将生成数据库系统的当前快照,并记录和维护系统当前活动事务的ID(当每个事务启动时,将分配一个ID,该ID是增量的,因此最新事务的ID值更大)。

当我们使用select读取数据时,此时会有许多版本的数据,但我们不知道要读取哪个版本。

此时,我们依赖readview来限制我们可以读取的版本。只有通过readview才能知道我们可以阅读哪个版本。

3.1、Read View 解析

Read View主要用于进行可见性判断,也就是说,当我们为事务执行快照读时,我们会为记录创建一个读取视图 Read View。以判断当前事务可以看到哪个版本的数据。它可能是当前期间的最新数据,也可能是记录 undo log 中某个版本的数据。

读取视图遵循可见性算法,主要是要修改的数据的最新记录中的 DB_TRX_ID (即当前事务ID),并与系统中其他活动事务的ID(由读取视图 Read View 维护)进行比较。

如果 DB_TRX_ID 跟 Read View 属性不符合可见性,通过 DB_ROLL_PTR 回滚指针在撤消日志Undo Log中的 DB_TRX_ID 比较中检索数据库(遍历链表的 DB_TRX_ID)。

遍历链接列表的DB _ TRX_ ID(从链的开始到链的结束,即从最近的修改),直到找到满足特定条件的 DB_TRX_ID , 那么这个 DB_TRX_ID 所在的旧记录就是当前事务能看见的最新老版本。

3.2、Read View 含义

在一个 Read View 快照中主要包括以下这些字段:

m_ids,表示生成 Read View 时当前系统中活动读/写事务的事务ID列表

min_trx_id,表示生成 Read View 时当前系统中活动读/写事务中最小的事务ID,即 m_ids 最小值

max_trx_id,表示生成 Read View 时应分配给系统中下一个事务的ID值

creator_trx_id,表示生成 Read View 的事务的事务ID

3.3、Read View 如何判断版本链可用

trx_id == creator_trx_id,可以访问这个版本;

trx_id < min_trx_id,可以访问这个版本;trx_id > max_trx_id,不可以访问这个版本;

min_trx_id <= trx_id <= max_trx_id,如果 trx_id 在 m_ids 中不可以访问,反之可以

三、当前读,快照读与MVCC

1、什么是当前读和快照读

1.1、当前读

select lock in share mode (共享锁), select for update; update; insert; delete (排他锁)这些操作都是一种当前读。

它读取最新版本的记录,读取时,它还确保其他并发事务无法修改当前记录,并锁定读取的记录。

1.2、快照读

不加锁的 select 操作就是快照读,即无锁的非阻塞读取;

快照读的前提是隔离级别不是串行级别,在串行级别下读取的快照将退化为当前读取,发生快照读的原因是基于提高并发性能的考虑。

快照读的实现基于多版本并发控制,即MVCC。MVCC可以被认为是行锁的变体,但在许多情况下,它避免了锁操作并减少了开销;由于它基于多个版本,也就是说,读取的快照可能不是数据的最新版本,而是以前的历史版本

MVCC的设计目的是在不锁定读写冲突,这种读取指的是快照读取,而不是当前读取。

当前的读取实际上是一个锁操作,这是悲观锁的实现

2、快照读、当前读与MVCC辨析

MVCC多版本并发控制的概念是“维护一个数据的多个版本,以便读写操作之间没有冲突”。

因为MVCC只是一个抽象的概念,为了实现这样的概念,MySQL需要提供特定的功能来实现它。“快照读取是MySQL MVCC理想模型的非阻塞读取功能之一”。

相对而言,当前读是悲观锁的具体功能实现,快照阅读本身也是一个抽象概念。

3、MVCC 只在 RC 和 RR 隔离级别下工作

一、 在RC(Read Commited )的隔离级别下,每次快照读取都会生成并获得最新的 readview

二、在RR(Repeatable Read)隔离级别,只有读取同一事务的第一个快照才能创建 readview。每个后续快照读取都使用相同的 readview,因此每个查询结果都相同。

总结

本文是:MySQL事务隔离机制与实现原理详解,的深入学习,我们在了解MySQL事务隔离机制与实现原理后,了解什么是MVCC,MVCC的实现原理,最后辨析当前读和快照读与MVCC和事务隔离的关系,更加全面和深入的MySQL事务隔离机制。

有关【MySQL】MVCC详解与MVCC实现原理(MySQL专栏启动)的更多相关文章

  1. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近,当我启动我的Rails服务器时,我收到了一长串警告。虽然它不影响我的应用程序,但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次?当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗?/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  2. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  3. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  4. UE4 源码阅读:从引擎启动到Receive Begin Play - 2

    一、引擎主循环UE版本:4.27一、引擎主循环的位置:Launch.cpp:GuardedMain函数二、、GuardedMain函数执行逻辑:1、EnginePreInit:加载大多数模块int32ErrorLevel=EnginePreInit(CmdLine);PreInit模块加载顺序:模块加载过程:(1)注册模块中定义的UObject,同时为每个类构造一个类默认对象(CDO,记录类的默认状态,作为模板用于子类实例创建)(2)调用模块的StartUpModule方法2、FEngineLoop::Init()1、检查Engine的配置文件找出使用了哪一个GameEngine类(UGame

  5. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  6. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  7. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

  8. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作,这种方式比较简单,也比较容易理解。本文为大家介绍另一种不使用递归的方式,由于没有使用递归,只用到了循环和集合,所以效率更高一些!一、使用递归遍历文件夹整体思路1、使用File封装初始目录,2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组,取出每个File对象4-1、如果File是否是一个文件,打印4-2、否则就是一个目录,递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

  9. ruby - Arrays Sets 和 SortedSets 在 Ruby 中是如何实现的 - 2

    通常,数组被实现为内存块,集合被实现为HashMap,有序集合被实现为跳跃列表。在Ruby中也是如此吗?我正在尝试从性能和内存占用方面评估Ruby中不同容器的使用情况 最佳答案 数组是Ruby核心库的一部分。每个Ruby实现都有自己的数组实现。Ruby语言规范只规定了Ruby数组的行为,并没有规定任何特定的实现策略。它甚至没有指定任何会强制或至少建议特定实现策略的性能约束。然而,大多数Rubyist对数组的性能特征有一些期望,这会迫使不符合它们的实现变得默默无闻,因为实际上没有人会使用它:插入、前置或追加以及删除元素的最坏情况步骤复

  10. ruby - "public/protected/private"方法是如何实现的,我该如何模拟它? - 2

    在ruby中,你可以这样做:classThingpublicdeff1puts"f1"endprivatedeff2puts"f2"endpublicdeff3puts"f3"endprivatedeff4puts"f4"endend现在f1和f3是公共(public)的,f2和f4是私有(private)的。内部发生了什么,允许您调用一个类方法,然后更改方法定义?我怎样才能实现相同的功能(表面上是创建我自己的java之类的注释)例如...classThingfundeff1puts"hey"endnotfundeff2puts"hey"endendfun和notfun将更改以下函数定

随机推荐