草庐IT

MySQL强人“锁”难《死磕MySQL系列 三》

原来是咔咔 2023-03-28 原文


一网打尽MySQL的各种锁

系列文章

​一、原来一条select语句在MySQL是这样执行的《死磕MySQL系列 一》​

​二、一生挚友redo log、binlog《死磕MySQL系列 二》​

前言

最近数据库老是出现下面死锁情况,借着这俩种情况出发详细的理解一下MySQL中的锁。

Lock wait timeout exceeded; try restarting transaction

Deadlock found when trying to get lock; try restarting transaction

一、MySQL中有那些锁全局锁

根据全局两个字,就可以肯定的是给一个整体加上锁。全局锁就是对整个数据库实例加锁。

对于flush tables with read lock,执行完成后整库就处于只读状态,所有语句将被堵塞,包括增删改查、创建表、修改表结构等语句。

表锁

表锁大家都非常熟悉了,执行命令​​lock tables kaka read ,kaka2 write​​直到​​unlock tables​​之前,其它线程是无法对kaka写kaka2读的。

执行命令的这个线程也只可以对kaka读,kaka2写。

行锁

行锁是在引擎层由各个引擎自己实现的。在MySQL中Innodb存储引擎支持行锁,若不支持行锁意味着并发控制只能使用表锁,对于这种引擎的表,同一张表上任何时刻只能有一个更新在执行,这就会影响到业务并发度。(由于篇幅的原因,下期细谈)

二、全局锁演示执行​​flush tables with read lock​​命令后数据库处于什么状态。

终端1执行全局锁命令

端口2执行删除操作,它不会直接执行成功,而是在端口1解锁后返回。

这个SQL需要3分钟的执行时间,这3分钟就是咔咔打开终端2并连接数据库的时间。

现在见证了开篇所说的全局锁直接让整个库处于只读状态,这里只演示了删除操作其它的几个操作自己尝试一下。

在蒋老师的文章中看到全局锁最典型的场景是用于逻辑备份,即是将整个库的每一个表都select存储成文本。

现在,你想想这种场景是在什么需要下出现的。

假如只有一个主库,执行了全局锁整库处于只读状态,那么业务基本停摆,产品无法使用。

此时你会有疑问我在从库上备份啊!备份期间,不能执行主库同步过来的binlog的,数据量如果非常大,将引发主从延迟过大,必须进行全量备份。

以上是全局锁引发的负面情况,但再看备份不加全局锁会出现什么问题。

相信大多数小伙伴都开发过支付类项目,接下来就用支付案例让大家很清晰的理解备份不加全局锁引发的问题。

发起一个逻辑备份。如果一个用户在备份期间购买了你公司的服务,在业务逻辑先扣除用户余额,然后给用户添加你公司对应的产品。

显然,这个逻辑没有问题的,但在特殊案例下执行备份操作就会引发问题。

若在时间顺序上先备份用户余额,然后用户发起购买,接着备份用户购买的产品表。

一个非常清晰的问题出现了,用户余额没减成功但用户却获得了对应的产品。

从用户的角度出发那是赚大发了,但这种执行顺序如果反过来的话就会产生不一样的结果。

先备份用户产品表,然后备份用户余额表,就会出现用户钱花了东西没得着,这还得了,用户都是衣食父母这不是再割父母的韭菜。

也就是说,在备份不加锁的话,不同表之间的执行备份的顺序不同,如果某个表在备份的过程中进行了更新并且成功备份而关联的表已经备份完成无法再进行跟新,此时就会出现数据不一致。

在MVCC那篇文章中提到了一个非常重要的概念一致性视图(read view),一致性视图是根据快照读​​那一刻​​所有未提交事务的集合,前提是隔离级别为可重复。

这时你应该知道要说什么了,没错就是官方大大给提供的逻辑备份工具mysqldump。

mysqldump的备份原理是通过协议连接到 MySQL 数据库,将需要备份的数据查询出来,将查询出的数据转换成对应的insert 语句,当我们需要还原这些数据时,只要执行这些 insert 语句,即可将对应的数据还原。

例如备份test库的命令为​​mysqldump -uroot -p test > /backup/mysqldump/test.db​​。

当mysqldump使用参数–single-transaction时,备份数据之前会启动一个事物,拿到一致性视图(read view),所以在整个备份的过程中是支持更新的。

既然有了官方大大提供的mysqldump工具为何还要使用​​flush tables with read lock​​来将整表锁住呢?

别忘记了刚提到的可以在备份过程中进行更新,可以更新的前提是可以得到一致性视图,获取一致性视图的前提是开启事务。这里你应该清楚,不是所有存储引擎都支持事物。

如果有的表使用了别的存储引擎不支持事物,那么就只能使用​​flush tables with read lock​​方法,说到这里希望大家尽量在创建表时都选择Innodb存储引擎。

看着好一会了,还能记得咱们要干什么吗?需求是全库处于只读状态。

如果你搭建过MySQL的主从架构,就会知道主库用来写数据,从库用来读数据并且从库不支持写入操作,可以实现这样的效果都是来自于参数readonly。

同样执行​​set global readonly=true​​也可以达到整库只读状态,那么为什么从一开始没有给大家说这个方案,那是有原因的。

一是,刚刚提到的搭建主从架构需要使用readonly来判断主库与从库。

二是,在异常处理的方式不同。如果使用​​flush talbes with read lock​​命令客户端异常后MySQL会自动释放全局锁,让整个库回到正常状态。而整库设置为readonly后,一旦发生异常就会一直处于只读状态,导致整库长时间处于不可写状态。

所以说数据库一旦加上全局锁后数据的增删改、修改表结构、修改字段等操作都会被锁住。

三、表锁表锁跟全局锁释放的命令一致​​unlock tables​​,同样客户端断开的时候也会自动释放。

在老一辈的革命前辈处理并发都是用的表锁,应该都知道锁表的影响虽不及锁库影响大,但在今天锁的粒度已经支持到行锁了(前提是使用Innodb存储引擎,就没必要再使用行锁来处理并发了。

再来看表锁中的另一位哥们“元数据锁”(metalock)简称“MDL”,这个锁估计很少人知道,因为在实际开发过程中是不会有实际的语法来开启或关闭。

这个特性是在MySQL5.5版本后引入的,就是为了解决A线程正在查询一个表的数据,在这期间B线程修改了表的数据结构,那么就会造成查询的结果跟表结构对不上,这肯定是不行的。

当你访问一个表时会默认加上MDL写锁,不管在任何时候记住读锁与读锁之间不互斥,读锁与写锁,写锁与写锁之间互斥,知道行锁的共享锁、排它锁也是这么个理。

那么MDL 不需要显示调用,那它是在什么时候释放的?

回答是:“MDL 是在事务提交后才会释放,这意味着事务执行期间,MDL 是一直持有的。”

那么看一个场景。

首先,线程A开启事务并执行查询语句时,对表加上了MDL锁。

然后,线程B执行的是查询,并不会堵塞住,因为读与读并不冲突。

接着,线程C修改表结构,此时的线程A还未提交事务,MDL还未释放,这时的线程因无法获取到MDl写锁,就会被阻塞。

最后线程D执行查询会发生什么呢?

答案是堵塞。

到这里按照正常的逻辑,线程C没有获取到MDL的写锁,线程D是可以申请到MDL读锁的,那为什么还会堵塞呢!

这是因为申请MDL锁的操作会形成一个队列,队列中写锁获取优先级高于读锁,一旦出现MDL写锁等待,会​​阻塞后续该表的所有CURL操作​​。

到这里你有没有后背发凉,一旦你在一个未提交事务之后执行了DDL操作,那么等到的结果就是MySQL挂掉,客户端会有重试机制,DDL后所有CURD会在超时后重新发起请求,这个库的线程会很快爆满。

既然这样如何给表安全的执行DDL操作呢?

首先,必须解决到长事务,事务不提交MDL锁就无法释放。

然后,在MySQL系统表里找到infomation_schema库中的innodb_trx,可以查看当前正在执行中的事务ID,这个表在事务那期文章中也没少提。

接着,你是不是想kill掉这些长事务然后执行DDL不就得了。

试想一下,当你kill掉的下一刻一个新的事务又进来了,同时你又执行了DDL操作,后果是什么应该清楚了哈!这种操作肯定是不行的。

官方大大怎么会允许这种情况发生呢!

于是当你执行DDL操作时​​alter table kaka wait 30 add name​​可以加一个等待时间,如果在这个等待时间拿到MDL写锁最好,拿不到也不能堵塞后边的业务逻辑,先放弃。再重试执行这个命令。

四、总结

坚持学习、坚持写作、坚持分享是咔咔从业以来所秉持的信念。愿文章在偌大的互联网上能给你带来一点帮助,我是咔咔,下期见。

有关MySQL强人“锁”难《死磕MySQL系列 三》的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  2. ruby-on-rails - 使用一系列等级计算字母等级 - 2

    这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间,其中100是最大分数。计算平均分并将字母等级作为字符串返回,即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join,

  3. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  4. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  5. 阿里云RDS——产品系列概述 - 2

    基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版,本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例,只有单个数据库节点,计算与存储分离,性价比超高。说明RDS基础版实例只有一个数据库节点,没有备节点作为热备份,因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时,会出现较长时间的不可用。如果业务对数据库的可用性要求较高,不建议使用基础版实例,可选择其他系列(如高可用版),部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点,主节点不会因为实时的数据库复制而产生额外的性能开销,因此基础版的性能相对于

  6. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题,但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录,因为我已经检查过它存在。thread.h文件存在,但不在ruby​​目录中。相反,它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  7. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作,比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中,这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  8. ruby - 从结束值创建一系列字符串 - 2

    我使用irb。下面是我写的代码。“斧头”..“bc”我期待"ax""ay""az""ba"bb""bc"但结果只是“斧头”..“bc”我该如何纠正?谢谢。 最佳答案 >puts("ax".."bc").to_aaxayazbabbbc 关于ruby-从结束值创建一系列字符串,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/7617092/

  9. ruby-on-rails - 用一系列时间增量填充选择,加上其他选项 - 2

    使用RubyonRails,我使用给定的增量(例如每30分钟)用时间填充“选择”。目前我正在YAML文件中写出所有的可能性,但我觉得有一种更巧妙的方法。我想我想提供一个开始时间、一个结束时间、一个增量,并且目前只提供一个名为“关闭”的选项(想想“business_hours”)。所以,我的选择可能会显示:'Closed'5:00am5:30am6:00am...[allthewayto]...11:30pm谁能想出更好的方法,或者只是将它们全部“拼写”出来的最佳方法? 最佳答案 此答案基于@emh的答案。defcreate_hour

  10. ruby-on-rails - 当我通过 rvm 使用 rails3 时,如何在 ubuntu 上安装 mysql2 gem? - 2

    我正在尝试绕过rails配置这个极其复杂的迷宫。到目前为止,我设法在ubuntu上设置了rvm(出于某种原因,ruby在ubuntu存储库中已经过时了)。我设法建立了一个Rails项目。我希望我的测试项目使用mysql而不是mysqlite。当我尝试“rakedb:migrate”时,出现错误:“!!!缺少mysql2gem。将其添加到您的Gemfile:gem'mysql2'”当我尝试“geminstallmysql”时,出现错误,告诉我需要为安装命令提供参数。但是,参数列表很大,我不知道该选择哪些。如何通过在ubuntu上运行的rvm和mysql获取rails3?谢谢。

随机推荐