草庐IT

#yyds干货盘点#简单化MySQL优化小妙招

苏州凯捷智能科技 2023-03-28 原文
(简单化MySQL优化小妙招)

目录

?博主介绍

::: hljs-center

? 个人主页:苏州凯捷智能科技有限公司 ?作者介绍:苏州凯捷智能科技有限公司创始人,主要目前与华为合作5G工业机器人领域开发,2D、3D视觉项目开发,政府项目投标开发。 ? 有任何问题欢迎私信,看到会及时回复 微信公众号:苏州程序大白 ?想加入技术交流群的可以加我好友,群里会分享学习资料

:::

SQL语句执行顺序

设置大小写不敏感

  • 查看大小写是否敏感:show variables like '%lower_case_table_names%'; windows 系统默认大小写不敏感,但是 linux 系统是大小写敏感的。

  • 设置大小写不敏感:在 my.cnf 这个配置文件 [mysqld] 中加入 lower_case_table_names = 1 ,然后重启服务器。

属性设置 描述
大小写敏感
1 大小写不敏感。创建的表,数据库都是以小写形式存放在磁盘上,对于 sql 语句都是转换为小写对表和 DB 进行查找
2 创建的表和 DB 依据语句上格式存放,凡是查找都是转换为小写进行
<font color=#d32f2f size=5 face= "楷体"> 注意:在设置属性为大小写不敏感前就需要将原来的数据库和表转换为小写,否则会找不到数据库名。 </font>​

MySql 的用户和权限管理

<font color=#03a9f4 size=5 face= "楷体"> 用户管理: </font>​

-- 创建用户 create user ahzoo identified by '123456'; -- 查看用户和权限的相关信息 select host,user,password,select_priv,insert_priv,drop_priv from mysql.user -- 修改当前用户密码 set password =password('1234'); -- 修改其他用户密码 update mysql.user set password=password('123456') where user='ouo'; -- 所有通过user表的操作,都必须使用下面命令才能生效 flush privileges; -- 修改用户名 update mysql.user set user='ahzoo' where user='ouo'; flush privileges; -- 删除用户 drop user ouo; -- 注意:删除用户时,不建议使用下面命令进行删除,因为系统会有残留信息保留 delete from user where user='ouo' flush privileges; <font color=#03a9f4 size=5 face= "楷体"> 权限管理: </font>​

授予权限

grant 权限 1,权限 2,…权限 n on 数据库名称.表名称 to 用户名@用户地址 identified by '密码'; -- 授予数据库下所有表,所有权限 grant all privileges on testDB.* to ahzoo@localhost identified by '123456'; -- 授予所有库、表增删改查权限 grant select,insert,delete,drop on *.* to ahzoo@localhost identified by '123456'; -- 对网络用户授权;@'%' 表示对非本地主机用户授权,不包括localhost grant all privileges on *.* to ouo@'%' identified by '123456' -- 查看权限 show grants; 取消权限

revoke [权限 1,权限 2,…权限 n] on 库名.表名 from 用户名@用户地址; revoke all privileges on testDB.* from ahzoo@localhost;

索引优化

在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据, 这样就可以在这些数据结构上实现高级查找算法。这种数据结构,就是索引。下图就是一种可能的索引方式示例: 左边是数据表,一共有两列七条记录,最左边的是数据记录的物理地址。为了加快 Col2 的查找,可以维护一个 右边所示的二叉查找树,每个节点分别包含索引键值和一个指向对应数据记录物理地址的指 针,这样就可以运用 二叉查找在一定的复杂度内获取到相应数据,从而快速的检索出符合条件的记录。 一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储的磁盘上。

<font color=#03a9f4 size=5 face= "楷体"> 索引优势: </font>​

  • 提高数据检索的效率,降低数据库的IO成本。

  • 通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗。

<font color=#03a9f4 size=5 face= "楷体"> 索引劣势: </font>​

  • 虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为 更新所带来的键值变化后的索引信息。

  • 实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空间的。

MySQL 索引

Btree

<font color=#03a9f4 size=5 face= "楷体"> MySQL 使用的是 Btree 索引: </font>​

一颗 b 树,浅蓝色的块我们称之为一个磁盘块,可以看到每个磁盘块包含几个数据项(深蓝色所示)和指针(黄色所示),如磁盘块 1 包含数据项 17 和 35,包含指针 P1、P2、P3,P1 表示小于 17 的磁盘块,P2 表示在 17 和 35 之间的磁盘块,P3 表示大于 35 的磁盘块。

真实的数据存在于叶子节点即 3、5、9、10、13、15、28、29、36、60、75、79、90、99。

非叶子节点只不存储真实的数据,只存储指引搜索方向的数据项,如 17、35 并不真实存在于数据表中。

<font color=#03a9f4 size=5 face= "楷体"> 查找过程: </font>​

如果要查找数据项 29,那么首先会把磁盘块 1 由磁盘加载到内存,此时发生一次 IO,在内存中用二分查找确定 29在 17 和 35 之间,锁定磁盘块 1 的 P2 指针,内存时间因为非常短(相比磁盘的 IO)可以忽略不计,通过磁盘块 1的 P2 指针的磁盘地址把磁盘块 3 由磁盘加载到内存,发生第二次 IO,29 在 26 和 30 之间,锁定磁盘块 3 的 P2 指针,通过指针加载磁盘块 8 到内存,发生第三次 IO,同时内存中做二分查找找到 29,结束查询,总计三次 IO。

真实的情况是,3 层的 b+树可以表示上百万的数据,如果上百万的数据查找只需要三次 IO,性能提高将是巨大的,如果没有索引,每个数据项都要发生一次 IO,那么总共需要百万次的 IO,显然成本非常非常高。

B+tree

<font color=#03a9f4 size=5 face= "楷体"> B+Tree 与 B-Tree 的区别: </font>​

1、B-树的关键字和记录是放在一起的,叶子节点可以看作外部节点,不包含任何信息;B+树的非叶子节点中只有关键字和指向下一个节点的索引,记录只放在叶子节点中。

2、在 B-树中,越靠近根节点的记录查找时间越快,只要找到关键字即可确定记录的存在;而 B+树中每个记录的查找时间基本是一样的,都需要从根节点走到叶子节点,而且在叶子节点中还要再比较关键字。从这个角度看 B- 树的性能好像要比 B+树好,而在实际应用中却是 B+树的性能要好些。因为 B+树的非叶子节点不存放实际的数据,这样每个节点可容纳的元素个数比 B-树多,树高比 B-树小,这样带来的好处是减少磁盘访问次数。尽管 B+树找到一个记录所需的比较次数要比 B-树多,但是一次磁盘访问的时间相当于成百上千次内存比较的时间,因此实际中B+树的性能可能还会好些,而且 B+树的叶子节点使用指针连接在一起,方便顺序遍历(例如查看一个目录下的所有文件,一个表中的所有记录等),这也是很多数据库和文件系统使用 B+树的缘故。

<font color=#03a9f4 size=5 face= "楷体"> 为什么 B+树比 B-树更适合实际应用中操作系统的文件索引和数据库索引: </font>​

  • B+树的磁盘读写代价更低
B+树的内部结点并没有指向关键字具体信息的指针。因此其内部结点相对 B 树更小。如果把所有同一内部结点的关键字存放在同一盘块中,那么盘块所能容纳的关键字数量也越多。一次性读入内存中的需要查找的关键字也就越多。相对来说 IO 读写次数也就降低了。

  • B+树的查询效率更加稳定
由于非终结点并不是最终指向文件内容的结点,而只是叶子结点中关键字的索引。所以任何关键字的查找必须走一条从根结点到叶子结点的路。所有关键字查询的路径长度相同,导致每一个数据的查询效率相当。

​聚簇索引和非聚簇索引

聚簇索引并不是一种单独的索引类型,而是一种数据存储方式。术语‘聚簇’表示数据行和相邻的键值聚簇的存储 在一起。 如下图,左侧的索引就是聚簇索引,因为数据行在磁盘的排列和索引排序保持一致。

  • 聚簇索引的好处:
按照聚簇索引排列顺序,查询显示一定范围数据的时候,由于数据都是紧密相连,数据库不不用从多 个数据块中提取数据,所以节省了大量的 io 操作。

  • 聚簇索引的限制:
对于 mysql 数据库目前只有 innodb 数据引擎支持聚簇索引,而 Myisam 并不支持聚簇索引。 由于数据物理存储排序方式只能有一种,所以每个 Mysql 的表只能有一个聚簇索引。一般情况下就是 该表的主键。 为了充分利用聚簇索引的聚簇的特性,所以 innodb 表的主键列尽量选用有序的顺序 id,而不建议用 无序的 id,比如 uuid 这种

Mysql 索引分类

-- 创建 CREATE [UNIQUE] INDEX [indexName] ON table_name(column)) -- 删除 DROP INDEX [indexName] ON tableName; -- 查看 SHOW INDEX FROM tableName; -- 使用Alter命令: -- 该语句添加一个主键,这意味着索引值必须是唯一的,且不能为 NULL: ALTER TABLE tbl_name ADD PRIMARY KEY (column_list) ALTER TABLE tbl_name ADD PRIMARY KEY (column_list) -- 添加普通索引,索引值可出现多次: ALTER TABLE tbl_name ADD INDEX index_name (column_list) --该语句指定了索引为 FULLTEXT ,用于全文索引: ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list)

单值索引

<font color=#03a9f4 size=5 face= "楷体"> 即一个索引只包含单个列,一个表可以有多个单列索引。 </font>​

-- 在表创建时直接创建索引 CREATE TABLE customer ( id INT(10) UNSIGNED AUTO_INCREMENT , customer_no VARCHAR(200), customer_name VARCHAR(200), PRIMARY KEY(id), KEY (customer_name) ); -- 单独创建索引: CREATE INDEX idx_customer_name ON customer(customer_name);

唯一索引

<font color=#03a9f4 size=5 face= "楷体"> 索引列的值必须唯一,但允许有空值。 </font>​

-- 随表一起创建: CREATE TABLE customer ( id INT(10) UNSIGNED AUTO_INCREMENT , customer_no VARCHAR(200), customer_name VARCHAR(200), PRIMARY KEY(id), KEY (customer_name), UNIQUE (customer_no) ); -- 单独建唯一索引: CREATE UNIQUE INDEX idx_customer_no ON customer(customer_no

主键索引

<font color=#03a9f4 size=5 face= "楷体"> 设定为主键后数据库会自动建立索引,innodb为聚簇索引。 </font>​

-- 随表创建 CREATE TABLE customer ( id INT(10) UNSIGNED AUTO_INCREMENT , customer_no VARCHAR(200), customer_name VARCHAR(200), PRIMARY KEY(id) ); -- 单独建主键索引: ALTER TABLE customer add PRIMARY KEY customer(customer_no) -- 删除建主键索引: ALTER TABLE customer drop PRIMARY

复合索引

<font color=#03a9f4 size=5 face= "楷体"> 即一个索引包含多个列。 </font>​

-- 随表一起建索引: CREATE TABLE customer ( id INT(10) UNSIGNED AUTO_INCREMENT , customer_no VARCHAR(200), customer_name VARCHAR(200), PRIMARY KEY(id), KEY (customer_name), UNIQUE (customer_name), KEY (customer_no,customer_name) ); -- 单独建索引: CREATE INDEX idx_no_name ON customer(customer_no,customer_name);

索引优化

  • 最佳左前缀法则
使用复合索引时,需遵循最左前缀法则(查询从索引的最左前列开始并且不跳过索引中的列)。即过滤条件要使用索引必须按照索引建立时的顺序,依次满足,一旦跳过某个字段,索引后面的字段都无法被使用。

  • 不要在索引列上做任何计算
索引列上做【计算、函数、(自动\手动)类型转换】等操作时,会导致索引失效而转向全表扫描。

  • 索引列上不能有范围查询
执行mysql命令时应将可能做范围查询的字段的索引顺序放在最后。

  • 尽量使用覆盖索引
覆盖索引:SQL 只需要通过索引就可以返回查询所需要的数据,而不必通过二级索引查到主键之后再去查询数据。即查询列和索引列时不要使用 select *…而是使用select a,b,c….

1、使用不等于(!= 或者<>)时,有时会无法使用索引会导致全表扫描。

2、字段的 is null 可以用到索引 而 is not null 不会使用索引。

3、不能使用前缀进行模糊匹配:

... like '%a%' √... like '%a' √... like 'a%' × 使用 union all 或者 union 来替代or示例:

假设abc为索引

-- 索引被使用: where a = 3; where a = 3 and b = 5; where a = 3 and b = 5 and c = 4; -- 索引未被使用: where a <> 3; where abs(a) =3; where b = 3; where b = 3 and c = 4; where c = 4; -- 使用到a索引,但是未使用b、c索引 where a = 3 and c = 5; where a = 3 and b > 4 and c = 5; where a is null and b is not null;

子查询优化

在范围判断时,尽量不要使用 not innot exists,使用 left join on xxx i

排序分组优化

  • 无过滤,不索引
where,limt 都相当于一种过滤条件,所以才能使用上索引。

  • 顺序错,必排序
where 两侧列的顺序可以变换,效果相同,但是 order by 列的顺序不能随便变换。

  • 方向反,必排序
如果可以用上索引的字段都使用正序或者逆序,实际上是没有任何影响的,无非将结果集调换顺序。

-- 两个排序方式都是desc: select * from mytest where name='ahzoo' order by deptid desc, name desc 如果排序的字段,顺序有差异,就需要将差异的部分,进行一次倒置顺序,因此还是需要手动排序的。

-- 两个排序方式相反,一个是降序一个是升序 select * from mytest where name='ahzoo' order by deptid desc, name asc

有关#yyds干货盘点#简单化MySQL优化小妙招的更多相关文章

  1. ruby - 简单获取法拉第超时 - 2

    有没有办法在这个简单的get方法中添加超时选项?我正在使用法拉第3.3。Faraday.get(url)四处寻找,我只能先发起连接后应用超时选项,然后应用超时选项。或者有什么简单的方法?这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend 最佳答案 试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url

  2. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  3. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章? - 2

    我意识到这可能是一个非常基本的问题,但我现在已经花了几天时间回过头来解决这个问题,但出于某种原因,Google就是没有帮助我。(我认为部分问题在于我是一个初学者,我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI,但我仍然停留在这个问题上.我找到了一些关于多态关系的信息,但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  4. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么? - 2

    我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找,但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中,因为我们有一些奇怪的身份验证规则,我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点,但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook,WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=

  5. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  6. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  7. Qt Designer的简单使用 - 2

    在前面两节的例子中,主界面窗口的尺寸和标签控件显示的矩形区域等,都是用C++代码编写的。窗口和控件的尺寸都是预估的,控件如果多起来,那就不好估计每个控件合适的位置和大小了。用C++代码编写图形界面的问题就是不直观,因此Qt项目开发了专门的可视化图形界面编辑器——QtDesigner(Qt设计师)。通过QtDesigner就可以很方便地创建图形界面文件*.ui,然后将ui文件应用到源代码里面,做到“所见即所得”,大大方便了图形界面的设计。本节就演示一下QtDesigner的简单使用,学习拖拽控件和设置控件属性,并将ui文件应用到Qt程序代码里。使用QtDesigner设计界面在开始菜单中找到「Q

  8. ruby - 使用 Ruby,计算 n x m 数组的每一列中有多少个 true 的简单方法是什么? - 2

    给定一个nxmbool数组:[[true,true,false],[false,true,true],[false,true,true]]有什么简单的方法可以返回“该列中有多少个true?”结果应该是[1,3,2] 最佳答案 使用转置得到一个数组,其中每个子数组代表一列,然后将每一列映射到其中的true数:arr.transpose.map{|subarr|subarr.count(true)}这是一个带有inject的版本,应该在1.8.6上运行,没有任何依赖:arr.transpose.map{|subarr|subarr.in

  9. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题,但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录,因为我已经检查过它存在。thread.h文件存在,但不在ruby​​目录中。相反,它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  10. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作,比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中,这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

随机推荐