草庐IT

来来,快速撸 Redis 一遍!

小姐姐养的狗 2023-03-28 原文
年底了,你发年终奖了么?是不是很不爽?不管是被动毕业还是主动毕业,生活还得继续是不是?

作为程序员,那就离不开Redis,谁让不争气的磁盘还是那么慢呢?要过了面试这道坎,Redis必须掌握好。除了会用,还得了解它背后的原理。

为啥?因为大家现在都在养蛊。人生在世,诸多无奈。逆水行舟,不进则退。

如果你读过Redis相关的书籍,本文就帮你快速的撸一遍。没读过也不要紧,缺啥补啥。

redis能力:

  • 1 0W/s QPS (redis-benchmark)
  • 1w+ 长链接 (netstat / ss)
  • 最复杂的Zset 6kw数据 写入1k/s 读取5k/s 平均耗时5ms
  • 持久化 (rdb)

1. 基本概览

学习一门新语言,重要的是掌握它的基本数据结构,以及这些数据结构的API。redis的这些数据结构,就类似一门语言。

Redis数据结构

常用5种,一共10种。面试时一般回答5种即可,但其他5种是加分项。

  • String 字符串
  • Hash 字典
  • List 列表
  • Set 集合
  • ZSet​ 有序集合。性能参考:《redis的zset有多牛?请把耳朵递过来》
  • Pubsub 发布订阅 (不推荐使用,坑很多)
  • Bitmap 位图
  • GEO 地理位置 (有限使用,附近的人)
  • Stream 流(5.0) (与Kafka非常像)
  • Hyperloglog 基数统计

Redis的协议

Redis是文本协议

  • RESP 以CRLF结尾(\r\n)
  • RESP3 (redis6启用,增加客户端缓存)

Redis底层数据结构

数据量较小和大数据量的时候,往往不同,关注大数据量的主要结构。

  • String-sds
  • Hash-(ziplist , dict)
  • Set-(intset,dict)
  • List-(ziplist,quicklist)
  • ZSet-(ziplist+skiptable 跳表)
  • Stream-(radix-tree 基数数)
跳表的关注度比较大,在Java中,可以参考类似ConcurrentSkipListMap实现。

另:Java中有序Set叫做TreeSet,但是用红黑树实现的,注意区别。

Redis持久化方式

生产环境,一般仅采用RDB模式。

  • RDB
  • AOF (类似Binglog row模式)
  • 混合模式:RDB+AOF

O(n)指令

  • keys *
  • hgetall
  • smembers
  • sunion
  • ...
建议在集合大小不确定的时候,使用scan hscan sscan zscan 替代。另外,像keys这种危险命令,最好使用RENAME指令给屏蔽掉。

性能优化

  • unlink删除key -> 异步避免阻塞
  • pipeline批量传输,减少网络RTT ->减少频繁网络交互
  • 多值指令(mset,hmset)-> 减少频繁网络交互
  • 关掉aof -> 避免io_wait

扩展方式

  • lua
  • redis-module
module模式知道的人比较少,属于比较底层的开发。

2. 问题排查

  • monitor指令
  • keyspace-events 订阅某些Key的事件。比如,删除某条数据的事件,底层实现基于pubsub
  • slow log 顾名思义,满查询,非常有用
  • --bigkeys启动参数 Redis大Key健康检查。使用的是scan的方式执行, 不用担心阻塞
  • memory usage key、memory stats 指令
  • info​指令,关注instantaneous_ops_per_sec、used_memory_human、connected_clients
  • redis-rdb-tools rdb线下分析

3. 淘汰策略

如果你应聘的是redis dba,这道题答不出来,直接淘汰。

  1. 被动删除 (只有被get到的时候,删除并返回NIL 属于惰性删除)
  2. 主动删除 (100ms运行一次,随机删除持续25ms,类似Cron)
  3. ->内存使用超过maxmemory,触发主动清理策略
针对于第三种情况,有8种策略。注意,redis已经有LFU了。

  1. 默认volatile-lru 从设置过期数据集里查找最近最少使用
  2. volatile-ttl 从设置过期的数据集里面优先删除剩余时间短的Key
  3. volatile-random 从设置过期的数据集里面任意选择数据淘汰
  4. volatile-lfu 从过期的数据集里删除 最近不常使用 的数据淘汰
  5. allkeys-lru
  6. allkeys-lfu
  7. allkeys-random 数据被使用频次最少的,优先被淘汰
  8. no-enviction
如果不设置maxmemory,Redis将一直使用内存,直到触发操作系统的OOM-KILLER。

4. 集群模式

  1. 单机
  2. 单机多实例
  3. 主从(1+n)
  4. 主从(1+n)& 哨兵(3或者基数个)
  5. Redis Cluster (推荐,但使用有限制)。参考:《与亲生的Redis Cluster,来一次亲密接触》
互联网建议使用Redis Cluster,外包、项目随意。

具体搭建过程,请参考:《好慌,Redis这么多集群方案,要用哪种?》

大规模

  • twemproxy
  • codis
  • 基于Netty Redis协议自研
  • 管理平台:CacheCloud

5. Redis常见问题

Redis使用场景

  • 缓存 (缓存一致性 缓存穿透 缓存击穿 缓存雪崩)
  • 分布式锁 (redlock)
  • 分布式限流
  • Session
API举例:

  • zset 排行榜,排序
  • bitmap 用户签到,在线状态
  • geo 地理位置,附近的人
  • stream 类似kafka的消息流
  • hyperloglog 每日访问ip数统计

缓存一致性

为什么有一致性问题?

  • 写入。缓存和数据库是两个不同的组件,只要涉及到双写,就存在只有一个写成功的可能性,造成数据不一致。
  • 更新。更新的情况类似,需要更新两个不同的组件。
  • 读取。读取要保证从缓存中读到的信息是最新的,是和数据库中的是一致的。
  • 删除。当删除数据库记录的时候,如何把缓存中的数据也删掉?
建议使用:Cache Aside Pattern

读请求:

  • 先读cache,再读db
变更操作:

  • 先操作数据库,再 淘汰 缓存
涉及到复杂的事务和回滚操作,可以把淘汰放在finally里。

问题:缓存淘汰失败!(概率很低 ,定时补偿)

缓存击穿

影响,轻微。

高流量下 大量请求读取一个失效的Key -> Redis Miss -> 穿透到DB

解决方式:采用分布式锁,只有拿到锁的第一个线程去请求数据库,然后插入缓存

缓存穿透

影响,一般。

访问一个不存在的Key-> Redis Miss -> 穿透到DB

解决方式:

  1. 给相应的Key设置一个Null值,放在缓存中
  2. BloomFilter预先判断

缓存雪崩

影响:严重。

大量Key同时失效 | 2.Redis当机 -> Redis Miss -> 压力打到DB

解决方式:

  1. 给失效时间加上相对的随机数
  2. 保证Redis的高可用

分布式锁

redis的分布式锁,并不是那么简单。建议使用redisson的redlock。最基础的指令是setnx。

setnx-> SET key value [EX seconds|PX milliseconds|KEEPTTL] [NX|XX] [GET]

分布式锁 关键点:

  • 原子性
  • 锁超时
  • 死锁
  • 读写锁
  • 故障转移
最简单的Redis分布式锁代码(不严谨)。

java端代码模拟lock和unlock。

public String lock(String key, int timeOutSecond){
for (; ; ) {
String stamp = String.valueOf(System.nanoTime());
boolean exist = redisTemplate.opsForValue().setIfAbsent(key, stamp, timeOutSecond, TimeUnit.SECONDS);
if (exist) {
return stamp;
}
}
}
public void unlock(String key, String stamp){
redisTemplate.execute(script, Arrays.asList(key), stamp);
}

lua脚本unlock。

local stamp = ARGV[1]
local key = KEYS[1]
local current = redis.call("GET",key)
if stamp == current then
redis.call("DEL",key)
return "OK"
end

6. Redis使用

常用Java客户端

  • lettuce SpringBoot默认,基于Netty的事件驱动模型
  • jedis   老牌的客户端,使用commons-pool来完成线程池开发
  • redisson 非常丰富的分布式数据结构,包括锁,分布式Map等。大量使用Lua脚本️
详细分析:Redis都要老了,你还在用什么古董客户端?

使用规范

根据公司情况自定义裁剪,没有万能的规范。更多:

这可能是最中肯的Redis规范了

  • 使用连接池,不要频繁创建关闭客户端连接
  • 消息大小限制 消息体在10kb以下,可以使用snappy、msgpack等压缩
  • 避免大key和hot key
  • 不使用O(n)指令
  • 不使用不带范围的Zrange指令
  • 不使用database(容易覆盖数据)
  • 不使用高级数据结构(使用基本的5种)
  • 不使用事务操作
  • 禁止长时间monitor

springboot cache redis

  • 使用时更要注意规范性
  • cache层抽象层次太高,如需要操作底层的数据结构,直接使用redisTemplate

Redis是多线程?

要看哪个阶段。数据操作阶段,一直是单线程的,哪怕是redis6。

这篇文章分析了这个过程:和 杠精 聊Redis多线程 :(

End


有关来来,快速撸 Redis 一遍!的更多相关文章

  1. ruby - 如何以表格格式快速打印 Ruby 哈希值? - 2

    有没有办法快速将表格格式的ruby​​哈希打印到文件中?如:keyAkeyBkeyC...1232343451253474456...其中散列的值是不同大小的数组。还是使用双循环是唯一的方法?谢谢 最佳答案 试试我写的这个gem(在表中打印散列、ruby对象、ActiveRecord对象):http://github.com/arches/table_print 关于ruby-如何以表格格式快速打印Ruby哈希值?,我们在StackOverflow上找到一个类似的问题:

  2. 电脑启动后显示器黑屏怎么办?排查下面4个问题,快速解决 - 2

    电脑启动出现显示器黑屏是一个相当常见的问题。如果您遇到了这个问题,不要惊慌,因为它有很多可能的原因,可以采取一些简单的措施来解决它。在本文中,小编将介绍下面4种常见的电脑启动后显示器黑屏的原因,排查这些原因,快速解决! 演示机型:联想Ideapad700-15ISK-ISE系统版本:Windows10一、显示器问题如果出现电脑启动后显示器黑屏的情况。那么首先您需要检查一下显示器是否正常工作。您可以通过更换另一个显示器或将当前显示器连接到另一台计算机来检查显示器是否存在问题。如果问题仍然存在,那么您可以排除显示器故障的可能性。 二、显卡问题如果您的电脑配备了独立显卡,那么显卡故障也可能是导致电脑

  3. ruby - 使单元测试快速失败以进行突变测试 - 2

    mutationtesting遇到一个问题是它很慢,因为默认情况下您会为每个生成的突变执行完整的测试运行(测试文件或一组测试文件)。加快突变测试的一种方法是,一旦遇到单一故障(但仅在突变测试期间),就停止对给定突变体的测试运行。更好的做法是让变异测试者记住杀死最后一个变异体的第一个测试是什么,并将其首先交给下一个变异体。ruby中是否有任何东西可以做这些事情,或者我最好的选择是开始猴子修补?(是的,我知道单元测试应该很快。显示所有失败的测试在突变测试之外很有用,因为它不仅可以帮助您识别出问题,还可以查明哪里出了问题)编辑:我目前正在对测试/单元使用heckle。如果测试/单元不可能记住

  4. ruby - 使用和不使用 Rails 的快速 (Rspec) 测试 - 2

    我有两个类:1.Sale是ActiveRecord的子类;它的工作是将销售数据持久保存到数据库中。classSale2.SalesReport是一个标准的Ruby类;它的工作是生成和绘制有关销售的信息。classSalesReportdefinitialize(start_date,end_date)@start_date=start_date@end_date=end_dateenddefsales_in_durationSale.total_for_duration(@start_date,@end_date)end#...end因为我想使用TDD并且我希望我的测试运行得非常快,所

  5. ruby - 快速FTP服务器 - 2

    我正在寻找一个快速、无需配置的FTP服务器。完全像Serve的东西或Rack_dav,但对于FTP,它可以通过运行命令来发布文件夹。是否有gem或其他东西可以做这样的事情?解决方案基于Wayne的ftpdgem,我创建了一个快速且易于使用的gem,名为Purvey. 最佳答案 ftpdgem支持TLS,并带有文件系统驱动程序。与em-ftpd一样,您提供一个驱动程序,但该驱动程序不需要做太多事情。这是一个最低限度的FTP服务器,它接受任何用户名/密码,并提供临时目录中的文件:require'ftpd'require'tmpdir'c

  6. ruby - 快速解决字谜 - 2

    给定两个字符串,我想确定它们是否是彼此的变位词。这是我想出的解决方案:#outputmessagesdefanagramputs"Anagram!"exitenddefnot_anagramputs"Notananagram!"exitend#mainmethodif__FILE__==$0#readtwostringsfromthecommandlinefirst,second=gets.chomp,gets.chomp#specialcase1not_anagramiffirst.length!=second.length#specialcase2anagramiffirst==s

  7. 线性代数让我想想:快速求三阶矩阵的逆矩阵 - 2

    快速求三阶矩阵的逆矩阵前言一般情况下,我们求解伴随矩阵是要注意符号问题和位置问题的(如下所示)A−1=1[  ][−[  ]−[  ]−[  ]  −[  ]]=A−1=1[  ][   M11−[M12]   M13−[M21]   M22−[M23]     M31−[M32]   M33]⊤\begin{aligned}&A^{-1}=\frac{1}{[\\]}\left[\begin{array}{cccccc}&-[\\]&\\-[\\]&&-[\\]\\\\&-[\\]&\\\end{array}\right]=\\\\&A^{-1}=\frac{1}{[\\]}\left[\b

  8. 火爆的ChatGPT快速学成,要看哪些书? - 2

    以前我们经常打趣说:***,你out了!当然了,玩笑成分居多。但是如果作为一名技术人员,现在还没有听说过ChatGPT,那么你可能真的“out”了。比尔·盖茨说,ChatGPT的重要性堪比互联网的发明,甚至它“将改变我们的世界”。ChatGPT得到科技界大佬的如此推崇,那么,ChatGPT到底是什么?ChatGPT是2022年11月底,美国OpenAI公司推出的一款人工智能聊天机器人。两个月后,ChatGPT的月活用户已经突破1亿,成为有史以来增长速度最快的消费者应用程序。ChatGPT功能极其强大,它能够通过学习和理解人类的语言进行对话,还能根据上下文进行互动,实现像人类一样的聊天交流。除了

  9. ruby - Ruby 语言中的快速排序 - 2

    我正在尝试在ruby​​中实现快速排序,但卡在如何在pivot的第一个分区之后递归调用。请帮助我了解如何进行,并让我知道到目前为止我的编码风格是否良好。classQuickSort$array=Array.new()$count=0defadd(val)#addingvaluestosorti=0whileval!='000'.to_i$array[i]=val.to_ii=i+1val=gets.to_iendenddeffirstsort_aka_divide(val1,val2,val3)#firstpartition$count=$count+1@pivot=val1@left

  10. ruby - 缓慢的 Ruby 正则表达式通过奇怪的变化变得快速 - 2

    我一直在调试网站以查找页面加载时间过长的根源,并将其缩小为用于从文本中提取URL的正则表达式:/(?:([\w+.-]+):\/\/|(?:www\.))[^\s在一大块文本上运行大约需要3秒。我发现如果我将第一个子句的逆语句添加到正则表达式((?:[^\w+.-]|^))的开头,它几乎会立即运行:/(?:[^\w+.-]|^)(?:([\w+.-]++):\/\/|(?:www\.))[^\s在我看来,添加的子句根本不应该影响正则表达式,因为没有什么可以导致该子句失败(因为这些字符将与“[\w+.-]++”子句匹配)。为什么这会使正则表达式运行得更快?编辑有些人要求提供我正在尝试做的

随机推荐