草庐IT

mysql性能调优开篇介绍、错误代码总结(处理方法)和参数文件详解(持续更新中ing)

multis 2023-11-05 原文

前言

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。本文主要介绍当前MySQL性能优化+原理+实战已更新文章目录、收集当前使用mysql遇到的的错误及解决方法和参数文件配置详解。后续希望大家提出宝贵的建议。


MySQL性能优化+原理+实战

一、已更新文章目录

MySQL安装和配置(保姆级别和全网最详细教程)

点击此处进行跳转

一、版本介绍
	1.1 安装开发版本还是通用版本(GA)
	1.2 mysql命名方案
二、mysql安装方式和下载
	2.1 mysql安装方式
	2.2 mysql下载
		2.2.1 rpm安装mysql 安装包下载
		2.2.2 二进制安装mysql 安装包下载
		2.2.3 源码编译安装mysql 安装包下载
三、mysql安装
	3.1 前期准备工作
		3.1.1 操作系统配置
		3.1.2 修改主机名
		3.1.3 安装常用的软件
		3.1.4 关闭防火墙
	3.2 rpm包安装mysql
		3.2.1 解压上传服务器的rpm包
		3.2.2 安装mysql
		3.2.2 卸载mysql
	3.3 二进制安装mysql
		3.3.1 安装mysql规范
		3.3.2 解压上传到服务器的mysql二进制安装包
		3.3.3 安装mysql
		3.3.4 使用service控制mysql启动或关闭(了解)
		3.3.5 卸载mysql
	3.4 源码安装mysql(了解)
		3.4.1 安装依赖包
		3.4.2 生成源码包
		3.4.3 编译安装mysql
		3.4.4 卸载mysql
四、多实例部署
	4.1 多实例概念
	4.2 多实例安装(二进制)
	4.3 mysqld_multi(多实例第二种安装方式)
	4.4 使用service 控制实例的启停
	4.5 卸载mysql多实例

mysql的启动关闭原理和实战、及常见的错误排查

点击此处进行跳转

一、生产中mysqlq启动方式
	1.1 mysql的启动原理
	1.2 参数文件的优先级
	1.3 以server的方式启动mysql(实际启动mysql方式)
	1.4 mysqld_safe方式启动
	1.5 mysqld方式启动
	1.6 systemctl方式启动(CentOS 7)
二、关库
	2.1 相关参数innodb_fast_shutdown (数据库关闭参数)
	2.2 相关参数innodb_force_recovery(恢复参数)
	2.2 关闭mysql多种方式
三、常见的mysql启动失败案例
	3.1 目录权限
	3.2 参数问题
	3.3 配置文件
	3.4 端口占用
	3.5 误删二进制文件
	3.6 undo表空间异常
	3.7 binlog缓冲异常
四、mysql启动失败的排查方法
五、连接mysql的方式
	5.1 本地连接
	5.2 远程连接
六、mysql数据库用户安全策略
	6.1 数据库的初始化
	6.2 修改密码
	6.3 删除无用用户
	6.4 mysql_secure_installation(推荐使用该方式修改密码)
	6.5 找回丢失的用户密码

mysql字符集和校验规则(史上最全)

点击此处进行跳转

一、mysql 字符集和校验规则
二、查看字符集方法
	2.1 查询字符集方法
	2.2 查看字符集的校对规则
	2.3 查询当前数据库设置的字符集
	2.4 查看当前数据库的校对规则
三、mysql字符设置
	3.1 字符集设置的层级关系
	3.2 设置mysql服务器级别的字符集
		3.2.1 永久设置
		3.2.2 临时设置
	3.3 设置对象字符集
四、字符集案例
	4.1 常用的字符集汉字占多少字节
	4.2 大小案例
五、插入中文乱码解决
六、数据库常见的字符集及如何选择字符集
七、生产坏境中,如何避免乱码

二、参数文件详解汇总

mysql 5.7版本参数文件详解

basedir

mysql软件跟位置

basedir=/usr/local/mysql

datadir

mysql数据目录位置

datadir=/data/mysql/my3306/data

user

数据初始化后,所属的用户

user=mysql

socket

socket = /data/mysql/my3306/mysql.sock

对mysql.sock来说,其作用是程序与mysqlserver处于同一台机器,发起本地连接时可用
启动mysql时显示:/tmp/mysql.sock 不存在的解决方法
Can’t connect to local MySQL server through socket '/tmp/mysql.sock’上述提示可能在启动mysql时遇到,即在/tmp/mysql.sock位置找不到所需要的mysql.sock文件,主要是由于my.cnf文件里对mysql.sock的位置设定导致。我们创建一个软链接到/tmp/mysql.sock即可。

[root@mysql2 ~]# ln -sf /data/mysql/my3306/mysql.sock /tmp/mysql.sock

port

端口号,默认3306

port = 3306

log_error

mysql日志位置

log_error=/data/mysql/my3306/logs/error.log

server_id

给mysql服务指定一个id

server_id = 1

innodb_fast_shutdown (数据库关闭参数)

在关闭时,参数innodb_fast_shutdown影响着表的存储引擎为InnoDB的行为。该参数可取值为0、1、2,默认值为1

  • 0表示在MySQL数据库关闭时,InnoDB需要完成所有的full purge(回收页)和merge insert buffer(合并插入缓冲区),并且将所有的脏页刷新回磁盘。这需要一些时间,有时甚至需要几个小时来完成。如果在进行InnoDB升级时,必须将这个参数调为0,然后再关闭数据库。
  • 1是参数innodb_fast_shutdown的默认值,表示不需要完成上述的full purge和merge insert buffer操作,但是在缓冲池中的一些数据脏页还是会刷新回磁盘。生产环境推荐的参数
  • 2表示不完成full purge和merge insert buffer操作,也不将缓冲池中的数据脏页写回磁盘,而是将日志都写入日志文件。这样不会有任何事务的丢失,但是下次mysql数据库启动时,会进行恢复操作(recovery)。如果写入日志文件出现异常,可能导致数据启动不了。
mysql> select @@innodb_fast_shutdown ;
+------------------------+
| @@innodb_fast_shutdown |
+------------------------+
|                      1 |
+------------------------+
1 row in set (0.00 sec)

innodb_force_recovery(恢复参数)

mysql> select @@innodb_force_recovery ;
+-------------------------+
| @@innodb_force_recovery |
+-------------------------+
|                       0 |
+-------------------------+
1 row in set (0.00 sec)

当正常关闭mysql数据库时,下次的启动应该是非常“正常”。但是如果没有正常地关闭数据库,如用kill命令关闭数据库,在mysql数据库运行中重启了服务器,或者在关闭数据库时,将参数innodb_fast_shutdown设为2,下次mysql数据库启动时都会对InnoDB存储引擎的表进行恢复操作.

参数innodb_force_recovery影响了整个InnoDB存储引擎恢复的状况。该参数值默认为0,代表当发生需要恢复时,进行所有的恢复操作,当不能进行有效恢复时,如数据页发生了corruption(坏块),mysqL数据库可能发生宕机(crash),并把错误写入错误日志中去。
但是,在某些情况下,可能并不需要进行完整的恢复操作,比如在对一个表进行alter table操作时发生意外了,数据库重启时会对InnoDB表进行回滚操作,对于一个大表来说这需要很长时间,可能是几个小时。这时用户可以自行进行恢复,例如把表删除,从备份中重新导入数据到表,可能这些操作的速度要远远快于回滚操作。

参数innodb_force_recovery还可以设置为6个非零值:1到6。大的数字表示包含了前面所有小数字表示的影响。具体情况如下:

  • 1(SRV_FORCE_IGNORE_CORRUPT):忽略检查到的corrupt页。
  • 2(SRV_FORCE_NO_BACKGROUND):阻止Master Thread线程的运行,如MasterThread线程需要进行full purge(完整清理)操作,而这会导致crash。
  • 3(SRV_FORCE_NO_TRX_UNDO):不进行事务的回滚操作。
  • 4(SRV_FORCE_NO_IBUF_MERGE):不进行插入缓冲的合并操作。
  • 5(SRV_FORCE_NO_UNDO_LOG_SCAN):不查看撤销日志(Undo Log),InnoDB存储引擎会将未提交的事务视为已提交。
  • 6(SRV_FORCE_NO_LOG_REDO):不进行前滚的操作。

建议:生产环境只能设置为0。即遇到故障,系统就要自动进行所有恢复操作。如果启动不了,就调整该参数进行数据库的调整。

innodb_data_file_path

innodb_data_file_path=ibdata1:12M:autoextend

共享表空间ibdata1里保存元数据信息、insert buffer、double write、undo、回滚指针,在初始化数据库之前设置innodb_data_file_path的大小。重新修改配置文件中innodb_data_file_path的大小,必须是小于默认的大小(12M)或者等于默认的大小

binlog_cache_size

binlog缓存根据实际情况调大

 binlog_cache_size = 128M

max_binlog_cache_size

最大binlog缓存根据实际情况调大

max_binlog_cache_size = 512M

max_binlog_size

最大max_binlog日志根据实际情况调大

max_binlog_size=512M

skip-grant-tables

跳过密码验证,忘记root密码,可使用该参数,一般配合skip-networking参数一起使用

skip-grant-tables

skip-networking

禁止远程连接

skip-networking

character_set_server

服务端字符集设置,需要重启才能生效,影响的是character_set_server character_set_database 以及表的字符集

character_set_server=utf8 

default_character_set

客户端字符集设置,不需要重启,就能影响。它影响的参数是:character_set_client character_set_connection character_set_results ,如果有别的客户端没有配置,也是根据别的客服端的设置

[client]
default_character_set=utf8 

default_password_lifetime

设置密码过期的全局参数,最大值65535天,当创建用户或者修改用户密码策略为非默认过期时间,该参数失效

default_password_lifetime=180

default_authentication_plugin

该参数文件是指定密码插件,mysql 8版本默认caching_sha2_password,mysql 5.7默认mysql_native_password

default_authentication_plugin=mysql_native_password

此参数不设置,可以在创建用户时指定

CREATE USER 'user'@'host' IDENTIFIED by 'password' WITH 'mysql_native_password'

mysql 8 版本参数文件详解

partial_revokes

从MySQL 8.0.16开始,MySQL推出了一种部分权限回收(Partial Revokes)的功能,可以将粗粒度赋予的权限在细粒度上回收。要使用这个功能需要将系统参数 partial_revokes 设置成 on,这个参数默认是 off,即默认不允许使用部分权限回收功能,在使用时会遇到下面的错误:

mysql> revoke select on mysql.* from 'grant'%'localhost';
ERROR 1141 (42000): There is no such grant defined for user 'grant' on host localhost

要允许 revoke的操作,请启用 partial_revokes:

mysql> set persist partial_revokes = ON;
Query OK, 0 rows affected (0.00 sec)

persist 持续永久的意思,关闭mysql服务重启,该参数值还是修改后的值。

三、错误和解决方法汇总

ERROR 3118

ERROR 3118 (HY000): Access denied for user ‘test’@‘localhost’. Account is locked.

错误原因:用户账号状态为锁定,登陆该账号,显示账户锁定
解决方法:修改账户状态为解锁

mysql> select user,host,account_locked from mysql.user;
+---------+-----------+----------------+
| user    | host      | account_locked |
+---------+-----------+----------------+
| root    | localhost | N              |
| jeffrey | localhost | N              |
| test    | localhost | Y              |
+---------+-----------+----------------+
3 rows in set (0.00 sec)

mysql> alter user 'test'@'localhost' account unlock;
Query OK, 0 rows affected (0.00 sec)

mysql> select user,host,account_locked from mysql.user;
+---------+-----------+----------------+
| user    | host      | account_locked |
+---------+-----------+----------------+
| root    | localhost | N              |
| jeffrey | localhost | N              |
| test    | localhost | N              |
+---------+-----------+----------------+
3 rows in set (0.00 sec)

ERROR 1820

ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement

错误原因:用户策略问题,可能用户名到期导致
解决方法:修改密码,重新登陆即可

mysql> show create user 'test'@'localhost' \g;
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| CREATE USER for test@localhost                                                                                                                                    |
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| CREATE USER 'test'@'localhost' IDENTIFIED WITH 'mysql_native_password' AS '*6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9' REQUIRE NONE PASSWORD EXPIRE ACCOUNT UNLOCK |
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

ERROR: 
No query specified

mysql> alter user 'test'@'localhost' identified by '123456';
Query OK, 0 rows affected (0.01 sec)

[ERROR] Could not open file ‘/data/mysql/my3306/logs/error.log’ for error logging: Permission denied

[ERROR] Could not open file ‘/data/mysql/my3306/logs/error.log’ for error logging: Permission denied
原因:数据目录的用户和用户组不是我们设置的用户
解决:

[root@mysql2 ~]# chown -R mysql:mysql /data/*
[root@mysql2 ~]# chmod -R 750 /data/mysql/

[ERROR] unknown variable ‘basedi=/usr/local/mysql’

[ERROR] unknown variable ‘basedi=/usr/local/mysql’
在修改配置文件参数时,可能因为参数拼写错误或者参数因版本不再支持,在错误日志会记录内容,在mysql启动关闭及在运行时的错误
解决:在配置文件将错误的参数修改

[ERROR] Do you already have another mysqld server running on port: 3306

[ERROR] Do you already have another mysqld server running on port: 3306
端口被占用导致MySQL启动失败
在多实例的环境下,因为某几个实例的端口是一样的,导致启动时造成端口的冲突,而无法启动,我们需要在my.cnf参数文件中修改端口

[ERROR] Failed to open log (file ‘/data/mysql/my3306/logs/mysql-bin.000012’, errno 2)

[ERROR] Failed to open log (file ‘/data/mysql/my3306/logs/mysql-bin.000012’, errno 2)
二进制日志文件保的记录已提交的dml、ddl、dcl,主要用来主从复制、增量备份,而我们手工删除二进制文件导致mysql启动失败
解决:vim mysql-bin.index 将对应的二进制日志文件记录删除即可

[ERROR] InnoDB: The Auto-extending innodb_system data file ‘./ibdata1’ is of a different size 768 pages (rounded down to MB) than specified in the .cnf file: initial 8192 pages, max 0 (relevant if non-zero) pages!

[ERROR] InnoDB: The Auto-extending innodb_system data file ‘./ibdata1’ is of a different size 768 pages (rounded down to MB) than specified in the .cnf file: initial 8192 pages, max 0 (relevant if non-zero) pages!
修改共享表空间参数大小导致MySQL启动失败,而共享表空间ibdata1里保存元数据信息、insert buffer、double write、undo、回滚指针

innodb_data_file_path=ibdata1:12M:autoextend

解决:在初始化数据库之前设置innodb_data_file_path的大小。重新修改配置文件中innodb_data_file_path的大小,必须是小于默认的大小(12M)或者等于默认的大小

ERROR 1534

ERROR 1534 (HY000): Writing one row to the row-based binary log failed
报错

mysql> call insert_emp(1,4000000);

ERROR 1534 (HY000): Writing one row to the row-based binary log failed

+---------------------+
| @@binlog_cache_size |
+---------------------+
| 2097152 			  |
+---------------------+

1 row in set (0.00 sec)

因为内存不足导致的binlog cache size不够不能写入binlog,导致语句无法执行 在配置文件中调整binlog_cache_size和max_binlog_cache_size参数的值,改大一点

binlog_cache_size = 128M(binlog缓存根据实际情况调大)
max_binlog_cache_size = 512M (binlog日志根据实际情况调大)

ERROR 1133

ERROR 1133 (42000): Can’t find any matching row in the user table
原因:没有该用户
解决方法:确认该用户是否存在

ERROR 1396

ERROR 1396 (HY000): Operation CREATE USER failed for ‘test’@‘localhost’
原因:创建用户时,用户存在
解决方法:删除用户重新创建或者创建用户名不存在的用户

ERROR 1141

原因:从MySQL 8.0.16开始,MySQL推出了一种部分权限回收(Partial Revokes)的功能,可以将粗粒度赋予的权限在细粒度上回收。要使用这个功能需要将系统参数 partial_revokes 设置成 on,这个参数默认是 off,即默认不允许使用部分权限回收功能,在使用时会遇到下面的错误:

mysql> revoke select on mysql.* from 'grant'%'localhost';
ERROR 1141 (42000): There is no such grant defined for user 'grant' on host localhost

解决方法:要允许 revoke的操作,请启用 partial_revokes:

mysql> set persist partial_revokes = ON;
Query OK, 0 rows affected (0.00 sec)

配置正确后还错误,请检查revoke的权限是否在用户权限里(粒度)

有关mysql性能调优开篇介绍、错误代码总结(处理方法)和参数文件详解(持续更新中ing)的更多相关文章

  1. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  4. ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2

    在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中,它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe? - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗?我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe,无需等待进程完成是否有任何ruby​​gems会支持我的问题? 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  7. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式? - 2

    我正在为一个项目制作一个简单的shell,我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止,我一直在使用CSV::parse_line,将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  8. ruby - 检查方法参数的类型 - 2

    我不确定传递给方法的对象的类型是否正确。我可能会将一个字符串传递给一个只能处理整数的函数。某种运行时保证怎么样?我看不到比以下更好的选择:defsomeFixNumMangler(input)raise"wrongtype:integerrequired"unlessinput.class==FixNumother_stuffend有更好的选择吗? 最佳答案 使用Kernel#Integer在使用之前转换输入的方法。当无法以任何合理的方式将输入转换为整数时,它将引发ArgumentError。defmy_method(number)

  9. ruby-on-rails - 在默认方法参数中使用 .reverse_merge 或 .merge - 2

    两者都可以defsetup(options={})options.reverse_merge:size=>25,:velocity=>10end和defsetup(options={}){:size=>25,:velocity=>10}.merge(options)end在方法的参数中分配默认值。问题是:哪个更好?您更愿意使用哪一个?在性能、代码可读性或其他方面有什么不同吗?编辑:我无意中添加了bang(!)...并不是要询问nobang方法与bang方法之间的区别 最佳答案 我倾向于使用reverse_merge方法:option

  10. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

随机推荐