草庐IT

MYSQL---主从同步概述与配置

sre-chan 2023-09-23 原文

一、MYSQL主从同步概述

1、什么是MySQL主从同步?

实现数据自动同步的服务结构

主服务器(master): 接受客户端访问连接
从服务器(slave):自动同步主服务器数据

2、主从同步原理

Maste:启用binlog 日志
Slave:Slave_IO: 复制master主机binlog 日志文件的SQL命令到本机的relay-log(中继日志) 文件里。
Slave_SQL: 执行本机 relay-log(中继日志) 文件里的SQL语句,实现与 Master 数据一致。

Master(主服务器):

1》开启binlog日志,记录所有除查询以外的SQL命令

Slave(从服务器):

1》从服务器上的I/O thread(读写线程) 负责读取主服务器binlog日志中的SQL命令,并将其写入到 Relay log(中继日志中)
2》从服务器中的SQL thread(SQL 线程)读取中继日志中的SQL命令,并将其写入到Slave的数据库中

3、主从同步结构模式

基本应用
单向复制:一主 <—— 一从
扩展应用
一主多从:从 <—— 主 ——> 从
链式复制:主 <—— 从 <—— 从
互为主从:主 <——> 主

4、MySQL主从同步配置

拓扑结构

5、实施

步骤一:根据host50克隆虚拟机出host51,配置IP地址为192.168.4.51,主机名为host51,删除51,52上面多余的数据库,只保留默认的四个库

[root@host51 ~]# mysql -uroot -p123qqq...A
mysql> drop database bbsdb;
[root@host52 ~]# mysql -uroot -p123qqq...A
mysql> drop database db4;

步骤二:host51配置主服务器

# 修改主配置文件,开启binlog日志
[root@host51 ~]# vim /etc/my.cnf
[mysqld]
#binlog_format="mixed"	# 加上注释
server_id=50				#指定id号,默认与IP地址的主机位相同
log_bin=master51			#指定binlog日志名,日志文件在/var/lib/mysql下     

步骤三:重启数据库服务,让配置生效

[root@host51 ~]# systemctl restart mysqld
# 用户授权,给replication slave复制数据的权限,授权用户为: repluser
[root@host51 ~]# mysql -uroot -p123qqq...A
mysql> grant replication slave on *.* to repluser@"%" identified by "123qqq...A";
mysql> show master status;

步骤四:host52配置从服务器

# 修改主配置文件,指定server_id号
[root@host52 ~]# vim /etc/my.cnf
 [mysqld]
server_id=52          #指定id号,默认与IP地址的主机位相同
[root@host52 ~]# systemctl restart mysqld
# 指定主服务器信息
mysql> change master to master_host="192.168.4.51", master_user="repluser", master_password="123qqq...A", master_log_file="master51.000001", master_log_pos=441;

步骤五:启动从服务器

mysql> start slave;		
mysql> show slave status\G;		#确认IO线程、SQL线程都是 Yes 状态

如果IO线程为NO,错误提示如下

这是因,auto.cnf 存放的是主服务器的uuid号 ,因为是克隆出的虚拟机,uuid号都一样,会进行冲突,可以任意修改其中一个或多个字符,重启数据库服务即可

[root@host52 ~]# vim /var/lib/mysql/auto.cnf
[auto]
server-uuid=d45877cc-f4ab-11ea-b2a1-000c291f7055
[root@host52 ~]# systemctl restart mysqld

步骤六:host51:测试主从同步

[root@host51 ~]# mysql -uroot -p'123qqq...A'
mysql> create database db1;
mysql> create table db1.user (name char(10));
mysql> insert into db1.user values("tom");

步骤七:在host52上查看

[root@host52 ~]# mysql -uroot -p'123qqq...A'
mysql> show databases;
mysql> select * from db1.user;

相关文件

存放在数据库目录下/var/lib/mysql/
删除文件,重启数据库服务,可把主机恢复为独立的数据库服务器;

记录主服务器的信息

[root@host52 ~]# cat /var/lib/mysql/master.info 

查看中继日志信息

# host52-relay-bin.000001 是中继日志文件:记录从主服务器拷贝过来的sql命令
# host52-relay-bin.index  是中继日志索引文件
[root@host52 ~]# ls /var/lib/mysql/host52*
# 查看中继日志文件内容
[root@host52 ~]# cd /var/lib/mysql
[root@host52 mysql]# cat relay-log.info 
7
./host52-relay-bin.000004		#本机正在使用的中继日志文件
319							#中继日志记录主服务器sql命令的偏移量
master51.000001				#中继日志从哪个文件中拷贝sql命令(主服务器)
441                         #此为主服务器最近的binlog日志的偏移量
# 查看中继日志索引文件,有几个中继日志文件,就记录几条
[root@host52 ~]# cd /var/lib/mysql
[root@host52 mysql]# cat host52-relay-bin.index 

6、配置MySQL一主多从:解决从服务器宕机之后,无法备份数据问题

拓扑结构

步骤一:准备数据库host53,可以直接用之前的host53,删除创建数据库,保留默认的四个库

[root@host53 ~]# mysql -uroot -p123qqq...A
mysql> show databases;
mysql> drop database db4;

步骤二:没有配置之前,要确保从与主服务器数据一致

host51:安装innobackupex相关软件包

[root@host52 ~]# scp libev-4.15-1.el6.rf.x86_64.rpm  percona-xtrabackup-24-2.4.7-1.el7.x86_64.rpm 192.168.4.51:/root/
[root@host51 ~]# rpm -ivh libev-4.15-1.el6.rf.x86_64.rpm 
[root@host51 ~]# yum -y install percona-xtrabackup-24-2.4.7-1.el7.x86_64.rpm
[root@host51 ~]# innobackupex --user root --password '123qqq...A' --slave-info  /allbak1  --no-timestamp
[root@host51 ~]# scp -r /allbak1/ 192.168.4.53:/opt/

host53使用innobackupex恢复数据

[root@host53 ~]# systemctl stop mysqld
[root@host53 ~]# rm -rf /var/lib/mysql/*
[root@host53 ~]# innobackupex --apply-log  /root/allbak1/		#准备恢复数据
[root@host53 ~]# innobackupex --copy-back  /root/allbak1/			#恢复数据
[root@host53 ~]# chown -R mysql:mysql /var/lib/mysql
[root@host53 ~]# systemctl start mysqld
[root@host53 ~]# mysql -uroot -p'123qqq...A' -e "show databases"
# xtrabackup_binlog_info 文件记录的是binlog日志文件名和偏移量
# 此偏移量和主服务器的偏移量一致,从服务器同步数据时从这个偏移量开始同步
# 可以查看host51的binlog日志状态,偏移量相同
[root@host53 ~]# cat /opt/alldb/xtrabackup_binlog_info 
master51.000001	1020

步骤三:配置从服务器

# 修改主配置文件,指定server_id号
[root@host53 ~]# vim /etc/my.cnf
[mysqld]
server_id=53			#指定id号,默认与IP地址的主机位相同
[root@host53 ~]# vim /var/lib/mysql/auto.cnf
[auto]
server-uuid=d45877cc-ffab-11ea-b2a1-000c291f7055
[root@host53 ~]# systemctl restart mysqld
[root@host53 ~]# mysql -uroot -p123qqq...A

步骤四:指定主服务器信息

mysql> change master to master_host="192.168.4.51", master_user="repluser", master_password="123qqq...A", master_log_file="master51.000001", master_log_pos=1020;
mysql> start slave;				#启动slave
mysql> show slave status;		#查看从服务器状态信息
host51:插入数据
[root@host51 ~]# mysql -uroot -p'123qqq...A'
mysql> insert into db1.user values("tomA"),("tomB"),("tomC");

步骤五:host53测试主从同步

[root@host53 ~]# mysql -uroot -p'123qqq...A'
mysql> select * from db1.user;

二、MYSQL主从从结构

配置MYSQL主从从结构

1、主从从结构

主从从结构优势:
1》【host55】是【host54】的从服务器,【host54】是【host53】的从服务器;
2》当【host53】宕机以后,用户访问的是从服务器【host54】的数据库;
3》当【host54】宕机以后,用户访问的就是从服务器【host55】的数据库;

2、主从从结构实验环境准备,根据host50克隆虚拟机host54和host55主机,配置IP如下,并还原数据库默认的四个库

主服务器     主机名:host53      IP地址: 192.168.4.53
从服务器     主机名:host54      IP地址: 192.168.4.54
从服务器     主机名:host55      IP地址: 192.168.4.55

3、将host53恢复成独立的数据库服务器

[root@host53 ~]# cd /var/lib/mysql
[root@host53 mysql]# rm -rf master.info 			#删除连接主服务器的信息文件
[root@host53 mysql]# rm -rf host53-relay-bin.0*		#删除所有的中继日志文件,存放从主服务器拷贝过来的sql命令
[root@host53 mysql]# rm -rf host53-relay-bin.index 	#删除中继日志的索引文件,按顺序记录所有的中继日志文件名
[root@host53 mysql]# rm -rf relay-log.info 			#删除中继日志文件,记录中继日志信息
[root@host53 mysql]# systemctl restart mysqld

4、测试

[root@host53 ~]# mysql -uroot -p'123qqq...A'
mysql> show slave status;		#查看从服务器状态信息,为Empty,已经还原
mysql> drop database db1;		#删除db1库
mysql> exit

5、host53配置主服务器

修改主配置文件,开启binlog日志
[root@host53 ~]# vim /etc/my.cnf
[mysqld]
server_id=53
log_bin=master53
[root@host53 ~]# systemctl restart mysqld
[root@host53 ~]# mysql -uroot -p123qqq...A

这一次的授权不需要操作,因为之前53主机在做从库的时候已经同步用户了

mysql> grant replication slave on *.* to repluser@"%" identified by "123qqq...A"; 
mysql> select user,host from mysql.user;
mysql> show grants for repluser@"%";
mysql> show master status;

6、host54配置从服务器

修改配置文件、用户授权、指定主库信息、启动slave进程
修改主配置文件,指定server_id号
log_slave_updates 必须开启级联复制功能,因为【host54】同步数据是从【host53】的binlog日志中获取的,【host54】并没有直接执行sql命令,所以在【host54】的binlog日志中并没有sql命令,那么【host55】也就无法同步【host54】中的数据;而开启级联复制功能,则允许【host55】同步【host54】从【host53】同步过来的数据

[root@host54 ~]# vim /etc/my.cnf
[mysqld]
#binlog_format="mixed"
server_id=54
log_bin=master54
log_slave_updates		#允许级联复制
[root@host54 ~]# vim /var/lib/mysql/auto.cnf	# auto.cnf 存放的是主服务器的uuid号 因为是克隆出的虚拟机,uuid号都一样,会冲突可以任意修改其中一个或多个字符,重启数据库服务即可
[auto]
server-uuid=d45877cc-f4ab-12ea-b2a1-000c291f7055
[root@host54 ~]# systemctl restart mysqld

7、连接数据库,指定主服务器信息

[root@host54 ~]# mysql -uroot -p123qqq...A
mysql> change master to master_host="192.168.4.53", master_user="repluser", master_password="123qqq...A",master_log_file="master53.000001",master_log_pos=154;
mysql> start slave;
mysql> show slave status\G;

8、host54:从服务器【host55】添加授权用户

mysql> grant replication slave on *.* to jim@"%" identified by "123qqq...A";
mysql> show master status;

9、host55配置从服务器

[root@host55 ~]# vim /etc/my.cnf
[mysqld]
#binlog_format="mixed"
server_id=55
[root@host55 ~]# vim /var/lib/mysql/auto.cnf	
[auto]
server-uuid=d45877cc-f4ab-12ea-b2a1-000c291f7055
[root@host55 ~]# systemctl restart mysqld

10、指定主服务器信息

[root@host55 ~]# mysql -uroot -p123qqq...A
mysql> change master to master_host="192.168.4.54",master_user="jim", master_password="123qqq...A",master_log_file="master54.000001",master_log_pos=1554;
mysql> start slave;
mysql> show slave status\G;

11、测试主从从同步,在host53上建库,建表,插入记录

[root@host53 ~]# mysql -uroot -p'123qqq...A'
mysql> create database bbsdb;
mysql> create table bbsdb.user(name char(11));
mysql> insert into bbsdb.user values("bob");
mysql> select * from bbsdb.user;

12、在host54上查看验证数据

[root@host54 ~]# mysql -uroot -p'123qqq...A'
mysql> select * from bbsdb.user;

13、在host55上查看验证数据

[root@host55 ~]# mysql -uroot -p'123qqq...A'
mysql> select * from bbsdb.user;

三、复制模式

复制模式介绍

异步复制 (默认的复制模式):Asynchronous replication
主服务器执行完一次事务后,立即将结果返给客户端,不关心从服务器是否已经同步数据。

案例:【host50】(主服务器) <—— 【host51】(从服务器)

用户在【host50】(主服务器)上执行插入,更新,删除等SQL命令时,【host50】(主服务器)直接将结果返回给用户,不关心【host51】(从服务器)是否同步数据成功
优点:响应速度快,用户体验很好;
缺点:主服务器宕机后,有可能会存在从服务器数据丢失的情况;

半同步复制:Semisynchronous replication
主服务器在执行完一次事务后,等待至少一台从服务器同步数据完成,才将结果返回给客户端。

案例:【host50】(主服务器) <—— 【host51】(从服务器)

用户在【host50】(主服务器)上执行插入,更新,删除等SQL命令时,【host50】(主服务器)不会立刻将结果返回给用户,而是等待至少一个从服务器将数据同步写入到本机的数据库后,才将结果返回给用户

优点:主服务器宕机后,至少有一台从服务器拥有和主服务器相同的数据,数据安全度高;
缺点:响应速度下降,用户体验度下降;

配置半同步复制 (主从服务器都要配置)

主服务器     主机名:host53      IP地址: 192.168.4.53
从服务器     主机名:host54      IP地址: 192.168.4.54
从服务器     主机名:host55      IP地址: 192.168.4.55

命令行加载模块

host53主服务器命令行加载半同步复制的master模块
mysql> show databases;
mysql> desc information_schema.PLUGINS;		#查看默认库information_schema 下PLUGINS表(模块表)的表结构
加载 master 模块,rpl_semi_sync_master模块类型,semisync_master.so模块名称
mysql> install plugin rpl_semi_sync_master SONAME "semisync_master.so";
mysql> select PLUGIN_NAME,PLUGIN_STATUS from information_schema.PLUGINS where PLUGIN_NAME  like "%semi%";

host55安装slave模块

mysql>  install plugin rpl_semi_sync_slave SONAME "semisync_slave.so";  
host54因为是即做主又做从,所以要安装 matser和slave模块
mysql> install plugin rpl_semi_sync_master SONAME "semisync_master.so";
mysql> install plugin rpl_semi_sync_slave SONAME "semisync_slave.so";
mysql> select PLUGIN_NAME,PLUGIN_STATUS from information_schema.PLUGINS where PLUGIN_NAME  like "%semi%";

启用模块

host53:模糊查询半同步复制模块是否开启
mysql> show variables like "%semi%";
mysql> set global rpl_semi_sync_master_enabled=1;		#全局设置,开启半同步复制模块
mysql> show variables like "%semi%";					#on开启

host54启动半同步复制的master和slave模块

mysql> set global rpl_semi_sync_master_enabled=1;
mysql> set global rpl_semi_sync_slave_enabled=1;
mysql> show variables like "%semi%";

host55:启动半同步复制的slave模块

mysql> set global rpl_semi_sync_slave_enabled=1;
mysql> show variables like "%semi%";

永久配置

主服务器永久安装和启用半同步复制的master模块

[root@host53 ~]# vim /etc/my.cnf
[mysqld]
plugin-load=rpl_semi_sync_master=semisync_master.so    		#加载master模块
rpl_semi_sync_master_enabled=1                        		#启用master模块
[root@host53 ~]# systemctl restart mysqld
[root@host54 ~]# mysql -uroot -p'123qqq...A'
mysql> show variables like "%semi%";

主从服务器永久安装和启用半同步复制的master和slave模块,在host54上操作

[root@host54 ~]# vim /etc/my.cnf
[mysqld]
plugin-load="rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so"              							#同时加载master和slave模块
rpl_semi_sync_master_enabled=1				#启用master模块
rpl_semi_sync_slave_enabled=1				#启用slave模块
[root@host54 ~]# systemctl restart mysqld
[root@host54 ~]# mysql -uroot -p'123qqq...A'
mysql> show variables like "%semi%";

从服务器永久安装和启用半同步复制的slave模块,在host55上操作

[root@host55 ~]# vim /etc/my.cnf
[mysqld]
plugin-load=rpl_semi_sync_slave=semisync_slave.so    		#加载master模块
rpl_semi_sync_slave_enabled=1                          #启用master模块
[root@host55 ~]# systemctl restart mysqld
[root@host55 ~]# mysql -uroot -p'123qqq...A'
mysql> show variables like '%semi%';

有关MYSQL---主从同步概述与配置的更多相关文章

  1. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本,可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中?您能否举例说明如何做到这一点?提前谢谢你。 最佳答案 首先,您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后,在您的应用中阅读它:require"yaml"arg

  2. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  3. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候,windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表,但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题),加之暑假之后对cmake实在是爱不释手,且这样配置确实十分简单(其实都不需要配置),故斗胆妄言vscode下配置CV之法。其实极为简单,图比较多所以很长。如果你看此文还配不好,你应该思考一下是不是自己的问题。闲话少说,直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么,我不说是谁。CMake是一个开源免费并且跨平台的构建工具,可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  4. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  5. 神州数码无线产品(AC+AP)配置 - 2

    注意:本文主要掌握DCN自研无线产品的基本配置方法和注意事项,能够进行一般的项目实施、调试与运维AP基本配置命令AP登录用户名和密码均为:adminAP默认IP地址为:192.168.1.10AP默认情况下DHCP开启AP静态地址配置:setmanagementstatic-ip192.168.10.1AP开启/关闭DHCP功能:setmanagementdhcp-statusup/downAP设置默认网关:setstatic-ip-routegeteway192.168.10.254查看AP基本信息:getsystemgetmanagementgetmanaged-apgetrouteAP配

  6. 阿里云RDS——产品系列概述 - 2

    基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版,本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例,只有单个数据库节点,计算与存储分离,性价比超高。说明RDS基础版实例只有一个数据库节点,没有备节点作为热备份,因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时,会出现较长时间的不可用。如果业务对数据库的可用性要求较高,不建议使用基础版实例,可选择其他系列(如高可用版),部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点,主节点不会因为实时的数据库复制而产生额外的性能开销,因此基础版的性能相对于

  7. hadoop安装之保姆级教程(二)之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的,针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜,提出了全新的资源管理框架YARN. ApacheYARN(YetanotherResourceNegotiator的缩写)是Hadoop集群的资源管理系统,负责为计算程序提供服务器计算资源,相当于⼀个分布式的操作系统平台,⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现,但是因为具有⾜够的通⽤性,同样可以⽀持其他的分布式计算模

  8. Ruby 默认将 IRB 配置为 Pretty_Inspect - 2

    我是ruby​​的新手,正在配置IRB。我喜欢pretty-print(需要'pp'),但总是输入pp来漂亮地打印它似乎很麻烦。我想做的是默认情况下让它漂亮地打印出来,所以如果我有一个var,比如说,'myvar',然后键入myvar,它会自动调用pretty_inspect而不是常规检查。我从哪里开始?理想情况下,我将能够向我的.irbrc文件添加一个自动调用的方法。有什么想法吗?谢谢! 最佳答案 irb中默认pretty-print对象正是hirb被迫去做。Theseposts解释hirb如何将几乎所有内容转换为ascii表。虽

  9. ruby - 是否可以将 IRB 提示配置为动态更改? - 2

    我想在IRB中浏览文件系统并让提示更改以反射(reflect)当前工作目录,但我不知道如何在每个命令后进行提示更新。最终,我想在日常工作中更多地使用IRB,让bash溜走。我在我的.irbrc中试过这个:require'fileutils'includeFileUtilsIRB.conf[:PROMPT][:CUSTOM]={:PROMPT_N=>"\e[1m:\e[m",:PROMPT_I=>"\e[1m#{pwd}>\e[m",:PROMPT_S=>"FOO",:PROMPT_C=>"\e[1m#{pwd}>\e[m",:RETURN=>""}IRB.conf[:PROMPT_MO

  10. ruby - 如何配置 Ruby Mechanize 代理以通过 Charles Web 代理工作? - 2

    我正在使用Ruby/Mechanize编写一个“自动填写表格”应用程序。它几乎可以工作。我可以使用精彩CharlesWeb代理以查看服务器和我的Firefox浏览器之间的交换。现在我想使用Charles查看服务器和我的应用程序之间的交换。Charles在端口8888上代理。假设服务器位于https://my.host.com。.一件不起作用的事情是:@agent||=Mechanize.newdo|agent|agent.set_proxy("my.host.com",8888)end这会导致Net::HTTP::Persistent::Error:...lib/net/http/pe

随机推荐