草庐IT

【Redis从入门到进阶】第 8 讲:Redis 持久化之 —— AOF

执 梗 2023-07-30 原文
本文已收录于专栏
🍅《Redis从入门到进阶》🍅

专栏前言

   本专栏开启,目的在于帮助大家更好的掌握学习Redis,同时也是为了记录我自己学习Redis的过程,将会从基础的数据类型开始记录,直到一些更多的应用,如缓存击穿还有分布式锁等。希望大家有问题也可以一起沟通,欢迎一起学习,对于专栏内容有错还望您可以及时指点,非常感谢大家 🌹。

目录

1. Redis 的持久化

   Redis的数据大家都知道是存储在内存中的,这也是它访问速度快的原因,但内存都有一个致命的缺点,如果不小心咔擦一下断电或者关机重启,那么内存当中的数据就全没了,Redis显然也逃不掉。
  Redis的官方显然为了解决这个问题准备了方案,那就是进行持久化,将数据备份到硬盘当中,当重启的时候再从硬盘中获取数据,而官方提供有两种方案可选,一种是AOF,另一种叫RDB,两种方法各有优劣,具体的选择还得看应用场景。

2. AOF

  AOF全程叫做 Append Only File(追加文件),Redis中每一个写的命令都会被它记录在AOF文件中,可以看做是一个命令日志文件,注意读的指令不会记录,因为对数据持久化没有意义。每当Redis重启后,就可以读取AOF文件的操作指令并执行,以此来达到恢复数据的目的

3.AOF的开启

  在RedisAOF模式是默认不开启的,我们需要去redis.config中修改参数将其开启:

当我们的AOP开启后,指令就会默认存储到这个appendonly.aof的文件中。当然从前面的流程图可以看出
我们的Redis是先执行命令,再将命令写入AOF文件中的。这样有什么好处呢?

  • 1 . 避免额外检查开销
    因为我们是先执行命令后写日志,这样错误的命令就不会被写入到日志中,也就节省了语法检查的开销。

  • 2 .不阻塞执行命令
    写磁盘文件是一个比较耗时的操作,如果都先写入磁盘再执行命令,那么大量的命令就会被阻塞住,影响效率。而先执行命令再写,就可以异步来进行写操作,不会影响Redis的执行效率。

  而Redis也确实是如此做的, 我们的指令会先以某种特定的协议格式(RESP协议,Redis客户端和服务器交互的协议)写入到服务器的aof_buf缓冲区当中,而AOF会根据某种策略把缓冲区中的指令同步向磁盘。

  当然上述操作也并不是没有弊端,它存在以下缺点:

    1. 数据丢失风险
      因为是先执行指令,再写入缓冲区,显然如果Redis还没来得及写入磁盘服务器就宕机了,那么这个数据就会丢失了。
    1. 阻塞下一条指令
      假设第一条指令进来,先执行,执行完毕后再将指令写入磁盘的话,如果服务器I/O特别大,此时写入磁盘特别慢,那这时候再来第二条指令就会被阻塞住了。因为这两种操作都是主线程来进行的。

4.写回策略的选择

  这时有一个问题我们必须思考,究竟什么时候把缓冲区的指令同步到磁盘上呢?如果太频繁,大量的I/O会影响服务器性能,如果同步太晚,服务器宕机又怕丢失大量的数据,所以Redis提供了三个等级的写回策略供我们选择,分别是——always、everysec、no。

写回策略同步频率优点缺点
always每个指令同步写入可靠性高,不易丢失数据性能开销大
everysec每秒同步一次性能适中宕机时会丢失1s内的数据
no让操作系统来决定何时同步性能高宕机时丢失数据多,不可控

Redis默认采用的是everysec这种方案。三者同步的实现,就是在底层调用一个名叫fsync()函数的时间,always 同步执行,everysec 异步执行,no永不执行。

5. AOF文件重写

  AOF是一个文件,那么随着指令执行的越来越多,文件存储的东西也越来越多,文件就会变得很大。当文件过大时肯定会带来各种各样的问题,最主要的肯定是影响性能,我们Redis重启时,如果文件太大,读取的速度就会特别慢。
  所以Redis为我们提供了 AOF重写机制 。 当文件的大小超过某个阈值时,就会触发重写机制,或者手动调用bgrewriteaof命令触发,来压缩 AOF 文件。那么它重写的依据是什么呢?
  我们都知道Redis是一个key-value的键值型数据库,假设我们下面这些指令

set name zhangsan
set name lisi
set name wangwu

那么Redis只会存储最后一条指令:

set name wangwu

因为我们只需要关心Redis最终的效果,对于历史记录都会被覆盖,所以我们无需去记载。还有一些操作我们也可以进行合并起来,比如下面:

set num 123
set name jack
set num 666

可以合并为一条指令来执行,用最少的指令达到相同的效果

mset name jack num 666

还有一点需要注意的是,在重写时我们会拷贝一份AOF文件来进行重写,这样如果重写过程中失败了,也不会对原AOF文件造成污染,重写成功后直接覆盖原AOF文件即可。

6. 后台重写

  当触发重写时,AOF文件已经较大了,对所有数据重写这一个操作是非常非常耗时的,如果直接在主进程中进行,那么就会导致此时Redis无法去执行新到来的命令,所以我们重写AOF的过程是由后台子进程来完成的。
  这样操作有两个好处:

    1. 子进行重写AOF,主进程可以继续执行指令,避免主线程阻塞。
    1. 子进程带有主进程的数据副本,使用子进程而非线程,可以避免在不需要加锁的情况下,保证数据的安全性

  有一个需要注意的问题就是,子进程在重写时,主线程仍然在接收新的指令,会对Redis数据库进行修改,从而可能会出现Redis和重写后的AOF文件数据不一致的情况。所以Redis还提供了一个AOF重写缓冲区,这个缓冲区会在主线程fork出子进程开始工作,此时主线程在接收到客户端的命令后,不仅在AOF缓冲区记录日志,也会在重写缓冲区记录。

  当子线程完成重写后,就会向主线程附送一个信号告诉它,这时主线程就会调用一个信号的处理函数,该函数会干两件事:

    1. AOF重写缓冲区的所有内容追加到AOF缓冲区中,使得两个AOF文件保存的数据库状态一致
    1. 新的AOF文件改名,覆盖原来的AOF文件

然后主线程就可以继续执行命令了,在整个 AOF 后台重写的过程中,只有发生写时复制和信号处理函数时会对主线程进行阻塞, 其余时候,主线程都不会阻塞。

有关【Redis从入门到进阶】第 8 讲:Redis 持久化之 —— AOF的更多相关文章

  1. ruby-on-rails - Rails 模型——非持久类成员或属性? - 2

    对于Rails模型,是否可以/建议让一个类的成员不持久保存到数据库中?我想将用户最后选择的类型存储在session变量中。由于我无法从我的模型中设置session变量,我想将值存储在一个“虚拟”类成员中,该成员只是将值传递回Controller。你能有这样的类(class)成员吗? 最佳答案 将非持久属性添加到Rails模型就像任何其他Ruby类一样:classUser扩展解释:在Ruby中,所有实例变量都是私有(private)的,不需要在赋值前定义。attr_accessor创建一个setter和getter方法:classUs

  2. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  3. 微信小程序开发入门与实战(Behaviors使用) - 2

    @作者:SYFStrive @博客首页:HomePage📜:微信小程序📌:个人社区(欢迎大佬们加入)👉:社区链接🔗📌:觉得文章不错可以点点关注👉:专栏连接🔗💃:感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序(🔥)目录自定义组件-behaviors    1、什么是behaviors    2、behaviors的工作方式    3、创建behavior    4、导入并使用behavior    5、behavior中所有可用的节点    6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors    1、什么是behaviorsbehaviors是小程序中,用于实现

  4. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作,这种方式比较简单,也比较容易理解。本文为大家介绍另一种不使用递归的方式,由于没有使用递归,只用到了循环和集合,所以效率更高一些!一、使用递归遍历文件夹整体思路1、使用File封装初始目录,2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组,取出每个File对象4-1、如果File是否是一个文件,打印4-2、否则就是一个目录,递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

  5. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈:ElasticSearch:存数据+搜索;QL;Kibana:Web可视化平台,分析。LogStash:日志收集,Log4j:产生日志;log.info(xxx)。。。。使用场景:metrics:指标监控…2、基本概念Index(索引)动词:保存(插入)名词:类似MySQL数据库,给数据Type(类型)已废弃,以前类似MySQL的表现在用索引对数据分类Document(文档)真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  6. 区块链入门教程(6)--WeBASE-Front节点前置服务安装 - 2

    文章目录1.任务背景2.任务目标3.相关知识点4.任务实操4.1安装配置JDK4.2启动FISCOBCOS4.3下载解压WeBASE-Front4.4拷贝sdk证书文件4.5启动节点4.6访问节点4.7检查运行状态5.任务总结1.任务背景FISCOBCOS其实是有控制台管理工具,用来对区块链系统进行各种管理操作。但是对于初学者来说,还是可视化界面更友好,本节就来介绍WeBASE管理平台,这是一款微众银行开源的自研区块链中间件平台,可以降低区块链使用的门槛,大幅提高区块链应用的开发效率。微众银行是腾讯牵头设立的民营银行,在国内民营银行里还是比较出名的。微众银行参与FISCOBCOS生态建设,一定

  7. Tcl脚本入门笔记详解(一) - 2

    TCL脚本语言简介•TCL(ToolCommandLanguage)是一种解释执行的脚本语言(ScriptingLanguage),它提供了通用的编程能力:支持变量、过程和控制结构;同时TCL还拥有一个功能强大的固有的核心命令集。TCL经常被用于快速原型开发,脚本编程,GUI和测试等方面。•实际上包含了两个部分:一个语言和一个库。首先,Tcl是一种简单的脚本语言,主要使用于发布命令给一些互交程序如文本编辑器、调试器和shell。由于TCL的解释器是用C\C++语言的过程库实现的,因此在某种意义上我们又可以把TCL看作C库,这个库中有丰富的用于扩展TCL命令的C\C++过程和函数,所以,Tcl是

  8. Simulink方法总结和避坑指南(一)——Simulink入门与基本调试方法 - 2

    文章目录一、项目场景二、基本模块原理与调试方法分析——信源部分:三、信号处理部分和显示部分:四、基本的通信链路搭建:四、特殊模块:interpretedMATLABfunction:五、总结和坑点提醒一、项目场景  最近一个任务是使用simulink搭建一个MIMO串扰消除的链路,并用实际收到的数据进行测试,在搭建的过程中也遇到了不少的问题(当然这比vivado里面的debug好不知道多少倍)。准备趁着这个机会,先以一个很基本的通信链路对simulink基础和相关的debug方法进行总结。  在本篇中,主要记录simulink的基本原理和基本的SISO通信传输链路(QPSK方式),计划在下篇记

  9. ESP32学习入门:WiFi连接网络 - 2

    目录一、ESP32简单介绍二、ESP32Wi-Fi模块介绍三、ESP32Wi-Fi编程模型四、ESP32Wi-Fi事件处理流程 五、ESP32Wi-Fi开发环境六、ESP32Wi-Fi具体代码七、ESP32Wi-Fi代码解读6.1主程序app_main7.2自定义代码wifi_init_sta()八、ESP32Wi-Fi连接验证8.1测试方法8.2服务器模拟工具sscom58.3测试代码8.4测试结果前言为了开发一款亚马逊物联网产品,开始入手ESP32模块。为了能够记录自己的学习过程,特记录如下操作过程。一、ESP32简单介绍ESP32是一套Wi-Fi(2.4GHz)和蓝牙(4.2)双模解决方

  10. ruby-on-rails - Rails 还是 Sinatra? PHP程序员入门学习哪个好? - 2

    按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭10年前。我使用PHP的时间太长了,对它感到厌倦了。我也想学习一门新语言。我一直在使用Ruby并且喜欢它。我必须在Rails和Sinatra之间做出选择,那么您会推荐哪一个?Sinatra真的不能用来构建复杂的应用程序,它只能用于简单的应用程序吗?

随机推荐