草庐IT

Redis持久化

落子无悔,永远少年 2023-03-28 原文

Redis 是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出,服务器中的数据库状态也会消失。所以Redis 提供了持久化功能!

RDB(Redis DataBase)

什么是RDB

在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里。

Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。

整个过程中,主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。

RDB的缺点是最后一次持久化后的数据可能丢失。

Fork

Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量,环境变量,程序计数器等)
数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程。

Rdb 保存的是 dump.rdb 文件

配置位置及SNAPSHOTTING解析

这里的触发条件机制,我们可以修改测试一下:

save 180 10 # 180秒内修改10次则触发RDB

RDB 是整合内存的压缩过的Snapshot,RDB 的数据结构,可以配置复合的快照触发条件。
默认:

  • 1分钟内改了1万次
  • 5分钟内改了10次
  • 15分钟内改了1次

如果想禁用RDB持久化的策略,只要不设置任何save指令,或者给save传入一个空字符串参数也可以。
若要修改完毕需要立马生效,可以手动使用 save 命令!立马生效 !

其余命令解析

Stop-writes-on-bgsave-error:如果配置为no,表示你不在乎数据不一致或者有其他的手段发现和控制,默认为yes。

rbdcompression:对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩,如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能。

rdbchecksum:在存储快照后,还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能。默认为yes。

如何触发RDB快照

1、配置文件中默认的快照配置,建议多用一台机子作为备份,复制一份 dump.rdb
2、命令save或者是bgsave

  • save 时只管保存,其他不管,全部阻塞
  • bgsave,Redis 会在后台异步进行快照操作,快照同时还可以响应客户端请求。可以通过lastsave命令获取最后一次成功执行快照的时间。

3、执行flushall命令,也会产生 dump.rdb 文件,但里面是空的,无意义 !
4、退出的时候也会产生 dump.rdb 文件!

如何恢复

1、将备份文件(dump.rdb)移动到redis安装目录并启动服务即可。
2、CONFIG GET dir 获取目录。

127.0.0.1:6379> config get dir
dir
/usr/local/bin

优点和缺点

优点:
1、适合大规模的数据恢复。
2、对数据完整性和一致性要求不高。

缺点:
1、在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失最后一次快照后的所有修改。
2、Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑。

RDB小结

  • RDB是一个非常紧凑的文件。

  • RDB在保存RDB文件时父进程唯一需要做的就是fok出一个子进程,接下来的工作全部由子进程来做,父进程不需要再做其他10

    操作,所以RDB持久化方式可以最大化redis的性能。

  • 与AOF相比,在恢复大的数据集的时候,RDB方式会更快一些。

  • 数据丢失风险大。

  • RDB需要经常fOrk子进程来保存数据集到硬盘上,当数据集比较大的时候,fok的过程是非常耗时的,可能会导致Redis在一些毫秒级不能响应客户端请求。

AOF(Append Only File)

什么是AOF

以日志的形式来记录每个写操作,将Redis执行过的所有指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

Aof保存的是 appendonly.aof 文件。

配置

appendonly no # 是否以append only模式作为持久化方式,默认使用的是rdb方式持久化,这种方式在许多应用中已经足够用了

appendfilename "appendonly.aof" # appendfilename AOF 文件名称

appendfsync everysec # appendfsync aof持久化策略的配置
  				# no表示不执行fsync,由操作系统保证数据同步到磁盘,速度最快。
 				# always表示每次写入都执行fsync,以保证数据同步到磁盘。
				# everysec表示每秒执行一次fsync,可能会导致丢失这1s数据。
  
No-appendfsync-on-rewrite #重写时是否可以运用Appendfsync,用默认no即可,保证数据安全性

Auto-aof-rewrite-min-size # 设置重写的基准值

Auto-aof-rewrite-percentage #设置重写的基准值

AOF 启动/修复/恢复

正常恢复:

  • 启动:设置Yes,修改默认的appendonly no,改为yes。
  • 将有数据的aof文件复制一份保存到对应目录。(config get dir)
  • 恢复:重启redis然后重新加载。

异常恢复:

  • 启动:设置Yes
  • 故意破坏 appendonly.aof 文件!
  • 修复: redis-check-aof --fix appendonly.aof 进行修复。
  • 恢复:重启 redis 然后重新加载。

Rewrite

是什么:
AOF 采用文件追加方式,文件会越来越大,为避免出现此种情况,新增了重写机制,当AOF文件的大小超过所设定的阈值时,Redis 就会启动AOF 文件的内容压缩,只保留可以恢复数据的最小指令集,可以使用命令 bgrewriteaof !
重写原理:
AOF 文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename),遍历新进程的内存中数据,每条记录有一条的Set语句。重写aof文件的操作,并没有读取旧的aof文件,这点和快照有点类似!
触发机制:
Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的已被且文件大于64M的触发。

优点和缺点

优点:
1、每修改同步:appendfsync always 同步持久化,每次发生数据变更会被立即记录到磁盘,性能较差但数据完整性比较好。
2、每秒同步: appendfsync everysec 异步操作,每秒记录 ,如果一秒内宕机,有数据丢失。
3、不同步: appendfsync no 从不同步。
缺点:
1、相同数据集的数据而言,aof 文件要远大于 rdb文件,恢复速度慢于 rdb。
2、Aof 运行效率要慢于 rdb,每秒同步策略效率较好,不同步效率和rdb相同。

AOF小结

  • AOF文件时一个只进行追加的日志文件。
  • Redis可以在AOF文件体积变得过大时,自动地在后台对AOF进行重写。
  • AOF文件有序地保存了对数据库执行的所有写入操作,这些写入操作以Redis协议的格式保存,因此AOF文件的内容非常容易被人读懂,对文件进行分析也很轻松。
  • 对相同的数据集来说,AOF文件的体积通常要大于RDB文件的体积。
  • 根据所使用的fsync策略,AOF的速度可能会慢于RDB。

总结

1、RDB 持久化方式能够在指定的时间间隔内对你的数据进行快照存储。

2、AOF 持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以Redis 协议追加保存每次写的操作到文件末尾,Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大。

3、只做缓存,如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化。

4、同时开启两种持久化方式

  • 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。
  • RDB 的数据不实时,同时使用两者时服务器重启也只会找AOF文件,那要不要只使用AOF呢?作者建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),快速重启,而且不会有AOF可能潜在的Bug,留着作为一个万一的手段。

5、性能建议

  • 因为RDB文件只用作后备用途,建议只在Slave上持久化RDB文件,而且只要15分钟备份一次就够了,只保留 save 900 1 这条规则。
  • 如果Enable AOF ,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load自己的AOF文件就可以了,代价一是带来了持续的IO,二是AOF rewrite 的最后将 rewrite 过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上,默认超过原大小100%大小重写可以改到适当的数值。
  • 如果不Enable AOF ,仅靠 Master-Slave Repllcation 实现高可用性也可以,能省掉一大笔IO,也减少了rewrite时带来的系统波动。代价是如果Master/Slave 同时倒掉,会丢失十几分钟的数据,启动脚本也要比较两个 Master/Slave 中的 RDB文件,载入较新的那个,微博就是这种架构。

有关Redis持久化的更多相关文章

  1. ruby-on-rails - Rails 模型——非持久类成员或属性? - 2

    对于Rails模型,是否可以/建议让一个类的成员不持久保存到数据库中?我想将用户最后选择的类型存储在session变量中。由于我无法从我的模型中设置session变量,我想将值存储在一个“虚拟”类成员中,该成员只是将值传递回Controller。你能有这样的类(class)成员吗? 最佳答案 将非持久属性添加到Rails模型就像任何其他Ruby类一样:classUser扩展解释:在Ruby中,所有实例变量都是私有(private)的,不需要在赋值前定义。attr_accessor创建一个setter和getter方法:classUs

  2. ruby - Ruby 程序的持久哈希表? - 2

    我的Ruby脚本需要一个小型非结构化数据库。不是Sqlite,更像是持久哈希表的东西可以完美地工作,只要它可以存储基本的Ruby结构(数组、字符串、哈希等-都是可序列化的)并且不会在Ruby脚本崩溃时被破坏。我知道有很多类似Perl和Tie::Hash的解决方案,所以可能有一些类似Ruby的gem。那会是什么gem?编辑:据我所知,PStore和yaml解决方案是基于每次更改时读取、解码、重新编码和写入整个数据库。这不仅需要所有这些都适合内存,而且是O(n^2)。所以它们似乎都不是特别好的解决方案。 最佳答案 有PStore在Rub

  3. ruby - `save` 和 `save!` 是唯一持久化 ActiveRecord 对象的方法吗? - 2

    我正在尝试调试一些代码。一个奇怪的部分是before_save回调被调用了两次,尽管我只打算保存对象一次。为了追踪这是如何发生的,我在类中定义了这些方法:%w[savesave!].eachdo|method_name|define_method(method_name)do|*args|puts"whocalled'#{method_name}'?#{caller.first}"super(*args)endend从这个输出中,我只看到一个持久化调用。我相信save和save!是导致ActiveRecord持久化对象的唯一方法。据我所知,其他持久化方法依赖于这两者之一;例如,upda

  4. ruby - 具有持久变量的 Sinatra - 2

    我的sinatra应用程序必须解析一个~60MB的XML文件。这个文件几乎从不改变:在每晚的cron作业中,它被另一个覆盖。是否有技巧或方法可以将已解析的文件作为变量保存在内存中,以便我可以在传入请求时从中读取,而不必为每个传入请求一遍又一遍地解析它?一些伪代码来说明我的问题。get'/projects/:id'return@nokigiri_object.search("//projects/project[@id=#{params[:id]}]/name/text()")endpost'/projects/update'ifparams[:token]=="s3cr3t"@noko

  5. ruby-on-rails - 在 state_machine gem 上持久化之前的验证 - 2

    在state_machine中的转换之前执行验证的正确语法是什么?gem?我试过以下,before_transition:apple=>:orangedovalidate:validate_coreenddefvalidate_coreifcore.things.blank?errors.add(:core,'musthaveonething')endend但是我得到以下错误,undefinedmethod`validate'for#我也试过把它写成,state:orangedovalidate:validate_coreend但这会导致记录保存后回滚,不太理想。我想首先阻止状态机转换

  6. ruby - 有没有办法使 Ruby 临时文件永久化? - 2

    如果我通过Tempfile创建了一个临时文件,除了将它复制到另一个文件之外还有什么方法可以使它成为“永久”文件吗?我想避免在关联的Tempfile实例被垃圾回收或进程终止时删除它。与此相关,有没有一种方法可以利用Tempfile机制(或使用类似的机制)来获取"new"文件名,而无需以该名称创建文件? 最佳答案 不是真的。对于问题本身,请参见:ObjectSpace.undefine_finalizer(tmpfile)Tempfile库使用RubyObjectSpace终结器在垃圾回收时自动删除自身。通过使用上面的行,如果你不删除它

  7. javascript - 在Electron渲染器进程中持久化nedb到磁盘(Webpack/Electron/nedb配置问题) - 2

    问题我正在尝试使用名为nedb的纯JS数据库在Electron渲染器进程中。它使用browserfield在itspackage.json交换基于浏览器的存储系统。这导致我的数据库实际上没有保存到文件中。背景我使用Next.js作为我的View框架,它的Webpack是为渲染线程配置的"target":"electron-renderer"。这显然会导致Webpack处理这些浏览器指令,即使渲染器进程应该可以访问浏览器和NodeAPI。这种行为并没有真正记录下来,所以我不知道如何覆盖它。我尝试过的我已经确认,如果我手动编辑node_modules/nedb/package.json本地

  8. javascript - Flask session 不持久( postman 工作,Javascript 不) - 2

    我正在开发一个Flask服务器,以便通过网络在某些后端Python功能和Javascript客户端之间进行通信。我正在尝试利用Flask的session变量在用户与应用程序交互的过程中存储用户特定的数据。我已经删除了下面大部分特定于应用程序的代码,但我遇到的核心问题仍然存在。这是我的(简化的)Flask应用程序的代码:importjsonimportosfromflaskimportFlask,jsonify,request,sessionapp=Flask(__name__)app.secret_key='my_secret_key'@app.route('/',methods=['

  9. javascript - 如何使 if 语句永久化? - 2

    我是编程新手,作为帮助我更好地使用JavaScript的小型项目,我正在制作日落。背景开始是蓝色的,在某个时刻,背景必须变成黑色,大部分都是我做的,我只是不知道如何让它一直是黑色。noStroke();//OriginalypositionofthesunvarsunPosition=50;functiondraw(){//Drawskybackground("skyblue");//MovethesundownsunPosition=sunPosition+1;if(sunPosition===348){background("black");}//Drawsunfill("yell

  10. javascript - backbone.js 的先前属性不是持久的 - 2

    我正在尝试使用在Backbone的模型中使用先前的api提到的示例。我已经粘贴了下面的例子varbill=newBackbone.Model({name:"BillSmith"});bill.bind("change:name",function(model,name){alert("Changednamefrom"+bill.previous("name")+"to"+name);});bill.set({name:"BillJones"});警报中的前一个值是BillSmith,这是正确的。但是如果我尝试通过调用在Firebug中访问它bill.previous("name");是

随机推荐