草庐IT

一次redis主从切换导致的数据丢失与陷入只读状态故障

背景最近一组业务redis数据不断增长需要扩容内存,而扩容内存则需要重启云主机,在按计划扩容升级执行主从切换时意外发生了数据丢失与master进入只读状态的故障,这里记录分享一下。业务redis高可用架构该组业务redis使用的是一主一从,通过sentinel集群实现故障时的自动主从切换,这套架构已经平稳运行数年,经历住了多次实战的考验。高可用架构大体如下图所示:简单说一下sentinel实现高可用的原理:集群的多个(2n+1,N>1)哨兵会定期轮询redis的所有master/slave节点,如果sentinel集群中超过一半的哨兵判定redis某个节点已经主观下线,就会将其判定为客观下线进

centos8 mysql 主从复制

♥️作者:小刘在C站♥️个人主页:小刘主页♥️每天分享云计算网络运维课堂笔记,努力不一定有收获,但一定会有收获加油!一起努力,共赴美好人生!♥️夕阳下,是最美的绽放,树高千尺,落叶归根人生不易,人间真情目录Linuxcentos8第一步,三台系统中初始配置修改主机名 关闭selinux  永久关闭防火墙 配置网络yum源第二步,三台都用yum 安装mysql-server第三步,在三台系统中创建测试数据库和表 并设置授权porxysql用户第四步在主服务器上mysql_m上修改my.conf 配置 内容如下第五步,配置主从如果显示两个yes说明配置成功主从复制配置完毕系统主机名软件ip地址Ce

centos8 mysql 主从复制

♥️作者:小刘在C站♥️个人主页:小刘主页♥️每天分享云计算网络运维课堂笔记,努力不一定有收获,但一定会有收获加油!一起努力,共赴美好人生!♥️夕阳下,是最美的绽放,树高千尺,落叶归根人生不易,人间真情目录Linuxcentos8第一步,三台系统中初始配置修改主机名 关闭selinux  永久关闭防火墙 配置网络yum源第二步,三台都用yum 安装mysql-server第三步,在三台系统中创建测试数据库和表 并设置授权porxysql用户第四步在主服务器上mysql_m上修改my.conf 配置 内容如下第五步,配置主从如果显示两个yes说明配置成功主从复制配置完毕系统主机名软件ip地址Ce

mysql 主从配置

1、mysql主从同步定义主从同步使得数据可以从一个数据库服,务器复制到其他服务器上,在复制数据时,一个服务器充当主服务器(master),其余的服务器充当从服务器(slave)。因为复制是异步进行的,所以从服务器不需要一直连接着主服务器,从服务器甚至可以通过拨号断断续续地连接主服务器。通过配置文件,可以指定复制所有的数据库,某个数据库,甚至是某个数据库上的某个表。使用主从同步的好处:1.通过增加从服务器来提高数据库的性能,在主服务器上执行写入和更新,在从服务器上向外提供读功能,可以动态地调整从服务器的数量,从而调整整个数据库的性能。2.提高数据安全-因为数据已复制到从服务器,从服务器可以终止

Redis架构部署模式使用场景和解决服务痛点问题,包括主从,哨兵,分片集群模式

一、Redis单机模式特点:简单问题:1、内存容量有限2、处理能力有限3、无法高可用。二、Redis的主从模式Redis的主从同步复制(replication)功能,保证一个matser主节点服务器可以创建任意多个slaver从服务器实现数据从主节点传递到从节点。主从复制流程如果所示:Redis的主从模式特点:1、master/slave角色2、master/slave数据相同3、降低master并发读压力在转交从库问题:1、无法保证高可用,master节点宕机导致整个服务不可用2、没有解决master高并发写的压力3、可能主从同步有数据延迟,对于即写即读的场景,必须强制使用主库进行数据读写三

如何使用MySQL进行主从复制

1:MySQL主从复制介绍(1)MySQL数据库默认是支持主从复制的,不需要借助于其他的技术,我们只需要在数据库中简单的配置即可。(2)MySQL主从复制是一个异步的复制过程,底层是基于Mysql数据库自带的二进制日志功能。就是一台或多台MySQL数据库从另一台MySQL数据库进行日志的复制,然后再解析日志并应用到自身,最终实现从库的数据和主库的数据保持一致。MySQL主从复制是MySQL数据库自带功能,无需借助第三方工具。(3)二进制日志(BINLOG)记录了所有的DDL(数据定义语言)语句和DML(数据操纵语言)语句,但是不包括数据查询语句。此日志对于灾难时的数据恢复起着极其重要的作用,M

ShardingSphere实现数据库读写分离,主从库分离,docker详细教程

一.什么是ShardingSphere引用官方的话:ApacheShardingSphere是一款分布式的数据库生态系统,可以将任意数据库转换为分布式数据库,并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。ApacheShardingSphere设计哲学为DatabasePlus,旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力,而并非实现一个全新的数据库。它站在数据库的上层视角,关注它们之间的协作多于数据库自身。ShardingSphere-JDBCShardingSphere-JDBC定位为轻量级Java框架,在Java的JDBC层提供的额外服务

Redis---主从复制 & 哨兵

目录一、主从复制1、什么是主从复制呢?2、案例演示 2.1 配置文件  2.2  一主二仆2.2.1相关题目:2.3 薪火相传 & 反客为主3、复制原理和工作流程3.1、slave启动,同步清初3.2 首次连接,全量复制3.3 心跳持续,保持通信(和TCP的心跳数据包很像) 3.4 进入平稳,增量复制3.5 从机下线,重连续传4、主从复制的缺点二、哨兵2.1 案例演示:2.1.1 配置 2.2.2 主机下线后的场景2.2.3 哨兵的运行流程 2.2.4 master选举算法2.2.5 哨兵的个数最好是多个一、主从复制从这里开始,Redis就从单机走向了多台机器,为了高可用的特性,redis引入

Redis的三种模式——主从复制、哨兵、集群

目录一、Redis模式二、Redis主从复制2.1主从复制概述2.2主从复制2.3Redis主从复制流程2.4搭建Redis主从复制2.4.1安装Redis2.4.2修改Master节点配置文件(192.168.152.11)2.4.3修改slave节点配置文件(192.168.152.16、192.168.152.17)2.4.4验证主从同步 三、Redis哨兵模式3.1哨兵模式的原理3.2哨兵模式的作用3.3哨兵模式的结构3.4故障转移机制3.5主节点的选举四、哨兵模式的搭建4.1修改Redis哨兵模式的配置文件(所有节点操作)4.2启动哨兵模式 4.3查看哨兵模式信息4.4故障模拟 4.

麻了,一个操作把MySQL主从复制整崩了

前言最近公司某项目上反馈mysql主从复制失败,被运维部门记了一次大过,影响到了项目的验收推进,那么究竟是什么原因导致的呢?而主从复制的原理又是什么呢?本文就对排查分析的过程做一个记录。主从复制原理我们先来简单了解下MySQL主从复制的原理。主库master 服务器会将SQL记录通过 dump 线程写入到二进制日志binarylog 中;从库slave 服务器开启一个 iothread 线程向服务器发送请求,向主库master 请求 binarylog。主库master 服务器在接收到请求之后,根据偏移量将新的 binarylog 发送给 slave 服务器。从库slave 服务器收到新的 b