草庐IT

【Redis从入门到进阶】第 6 讲:缓存雪崩、击穿、穿透场景与解决方案

执 梗 2023-04-15 原文
本文已收录于专栏
🍅《Redis从入门到进阶》🍅

专栏前言

   本专栏开启,目的在于帮助大家更好的掌握学习Redis,同时也是为了记录我自己学习Redis的过程,将会从基础的数据类型开始记录,直到一些更多的应用,如缓存击穿还有分布式锁以及Redis持久化等。希望大家有问题也可以一起沟通,欢迎一起学习,对于专栏内容有错还望您可以及时指点,非常感谢大家 🌹。

目录

1.缓存的三大问题

   话说学习缓存,缓存雪崩、击穿、穿透肯定是绕不开的一个话题,不仅在开发中我们需要注意这个问题,在面试中更是面试官有关Redis必问的面试题,可以说我们对这三个场景我们必须了解其中的差异,以及各自的解决方案。

2.缓存雪崩

2.1 什么是缓存雪崩?

   缓存雪崩指的是在同一时间,大量的Key同时失效,导致大量的请求直接绕开了我们的Redis直接打到数据库,数据库一下顶不住直接挂彩了,这就是缓存雪崩的场景。
那有的人肯定好奇,咦?怎么会那么巧大量的Key同时失效,考虑一个秒杀场景,比如双十一的时候,我们在晚上十一点集中上架一批商品,此时缓存过期时间设置为一小时,那么一到十二点这批商品的缓存就全部过期了,如果此时成千上万的用户想购买这些商品发送大量请求,就会导致数据库的压力上升从而可能压垮数据库。

  同一时间大量 Key 失效,就会导致Redis直接如同隐身了一样,那对于双十一这种数以千万级别甚至上亿量级的请求来到数据库,那后果就是灾难性的。一旦你一个库被打倒,那么其他的库可能也会收到影响,导致瞬间都挂掉了。你一重启用户又把你干崩,等你真正修好的时候,可能用户早就睡着了,还在心里吐槽一句什么垃圾产品。
  当然,如果Redis宕机了,那么显然也会触发缓存雪崩的情况。

2.如何解决缓存雪崩?

  讨论完了案发场景,那我们该如何解决缓存雪崩了。

  • 过期时间添加随机值。
    那就对症下药嘛,既然你是大量的key同时过期导致的,那我就尽量让你不一起过期,所以我们在批量添加缓存的时候,可以给过期时间添加一个随机值,使得Key过期的时间尽量分散,这样保证缓存不会大面积的同时失效。
  • 进行集群部署
    集群部署的情况下,我们就无须担心某一台Redis宕机导致触发缓存雪崩,也可以将热点数据均匀分布在不同Redis库中,来避免全部失效的问题。
  • 热点数据永不过期
    我们也可以让热点数据永不过期,只进行更新的操作,这也可以避免缓存雪崩。但可能会带来数据不一致的问题。

3.缓存穿透

3.1 什么是缓存穿透?

  缓存穿透指的是对于一些缓存和数据库中都不存在的数据,而用户却不断对该数据进行请求,如果你的数据库甚至没有建立索引,那么数据库还会进行全表扫描,压力更大。每次数据库都需要去进行查,然后查不到,然后又继续查,然后又查不到,然后又…最终数据库卒,这就是缓存穿透。
  此时显然用户是一个攻击者,比如我们数据库id都是从1开始自增的,它可以故意访问一个负数的id,然后不断请求,如果是我们个人搭建的一些小网站,对这种行为没有预防,只需要用 postman 就可以干崩你的网站。

3.2 如何解决缓存穿透?

  我们考虑如何去解决缓存穿透问题。

  • 参数校验
    在场景中我们已经提及,对于一些非法的参数我们一定要进行校验,不合法的参数直接进行返回,比如一些负数的id,还有用户的鉴权校验。参数校验的思想我们一定要根深蒂固,在任何地方都不应该相信前端传来的参数,我们都应当手动判断其是否合法。
  • 缓存空值
    对于一些不存在的对象,我们也可以将其作为key缓存,value设置null,这样用户再次访问时就不会走数据库查询了。当然需要注意的是我们这个key的过期时间我们需要设置短一些。
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;

@Component
public class CacheNullValue {

    private static final int CACHE_EXPIRATION = 60; // 缓存过期时间,单位为秒

    @Autowired
    private StringRedisTemplate stringRedisTemplate;
	//@NotBlank对参数进行校验
    public String getData(@NotBlank String key) {
        String data = stringRedisTemplate.opsForValue().get(key);
        if (data == null) {
            data = getDataFromDatabase(key);
            if (data == null) {
                // 将空值缓存指定时间
                stringRedisTemplate.opsForValue().set(key, "", CACHE_EXPIRATION);
            } else {
                // 将数据缓存指定时间
                stringRedisTemplate.opsForValue().set(key, data, CACHE_EXPIRATION);
            }
        }
        return data;
    }

    private String getDataFromDatabase(String key) {
        // 从数据库中获取数据的逻辑
        System.out.println("查询数据");
        return null;
    }
}
  • 布隆过滤器
    这是一个解决缓存穿透效果最好的办法,但是确定就是代码维护起来比较复杂。它是一种数据结构,主要的作用是用来判断某个元素是否存在在集合内,具有运行速度快占用内存小等优点,但是具有一定的误判率,而且删除困难等问题。但它有一个特点,就是会可能会误报但不会漏报,存在的元素它一定会知道,不存在的元素它可能也会告诉你存在。
    这样我们就可以使用布隆过滤器来对一些数据进行白名单,如果不存在的话我们直接返回null或者失败。
  • 监控IP
    要知道正常的用户,肯定不会同时发大量的非法请求,当请求次数超过某个阈值时,那么我们可以对该用户ip进行拉黑,把他关进小黑屋。

4. 缓存击穿

4.1 什么是缓存击穿?

  接下来最后聊聊缓存击穿,有的同学可能容易把它和缓存穿透搞混,听起来意思很像,这里分析一下我的记法——巴雷特 (当然你也可以记成 AWM )。不知道大家玩过枪战游戏没,巴雷特是一把杀伤力巨大的狙击枪,单点的杀伤力爆炸,哪怕你站在门后都能把你一枪 击穿
  回到正题,缓存击穿有点类型我们刚刚举的小例子,它指的是对于一个非常热门的key在不停地扛着大并发需求,如果这个key瞬间失效了,此时瞬间大并发就直接到达了数据库,数据库瞬间挂彩,这感觉就像大木桶打穿了一个洞的感觉(没错就是巴雷特的感觉 😂)
  缓存击穿一般是两个场景产生,注意我们强调的是并发的场景下:

    1. 该数据没有人查询过,所以缓存中没有,第一次就遭受大并发访问(某些冷门数据)
    1. 缓存中存在,但恰好失效了,大并发访问瞬间落到数据库(热点数据)

4.2 如何解决缓存击穿?

  • 加互斥锁
    由于是并发场景下,我们可以考虑加锁解决该问题,当缓存未命中时,只有持有锁的线程才能进行数据库查询,然后将查询结构写入缓存,其余的线程只能自旋进行等待。
    下面是逻辑的流程图
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.data.redis.core.ValueOperations;
import org.springframework.data.redis.core.RedisOperations;
import org.springframework.data.redis.core.RedisConnectionUtils;
import org.springframework.data.redis.RedisConnectionFailureException;
import java.util.concurrent.locks.ReentrantLock;
@Component
public class RedisCache {
    
    private final static String CACHE_PREFIX = "my_cache_";
    private final static int EXPIRE_TIME_SECONDS = 60;
    private final ReentrantLock lock = new ReentrantLock();
	@Autowired
    private StringRedisTemplate stringRedisTemplate;
    public Object get(@NotBlank String key) {
        String cacheKey = CACHE_PREFIX + key;
        //1.先查询缓存
        ValueOperations<String, String> ops = redisTemplate.opsForValue();
        String value = ops.get(cacheKey);
        //2.缓存未命中
        if (value == null) {
        	//3.尝试获取锁
            lock.lock();
            try {
         		//4.双重校验
                value = ops.get(cacheKey);           
                if (value == null) {
                	//5.查询数据库
                    value = fetchDataFromDatabase(key);
                    //6.写回redis
                    ops.set(cacheKey, value, EXPIRE_TIME_SECONDS);
                    
                }
            } catch (Exception e) {
                System.out.println("出现异常");
            } finally {
            	//释放锁
                lock.unlock();
            }
        }
        return value;
    }

    private String fetchDataFromDatabase(String key) {
        System.out.println("查询数据库");
        return key;
    }
}

需要注意我们这里的场景是单机的情况下,如果是分布式环境的话我们就得使用分布式锁了,这里我们使用synchronizedlock都是可以的。有关分布式锁我们后续文章会进行讲解

  • 热点数据永不过期

同样因为是数据过期的问题,那我们也可以考虑设置热点数据永不过期,当后台更新数据的同时更新缓存中的数据,当然可能会带来数据不一致的问题,适用于不严格要求缓存一致性的场景。

有关【Redis从入门到进阶】第 6 讲:缓存雪崩、击穿、穿透场景与解决方案的更多相关文章

  1. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  2. ruby - 如何在 Ubuntu 中清除 Ruby Phusion Passenger 的缓存? - 2

    我试过重新启动apache,缓存的页面仍然出现,所以一定有一个文件夹在某个地方。我没有“公共(public)/缓存”,那么我还应该查看哪些其他地方?是否有一个URL标志也可以触发此效果? 最佳答案 您需要触摸一个文件才能清除phusion,例如:touch/webapps/mycook/tmp/restart.txt参见docs 关于ruby-如何在Ubuntu中清除RubyPhusionPassenger的缓存?,我们在StackOverflow上找到一个类似的问题:

  3. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

    尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

  4. 屏幕录制为什么没声音?检查这2项,轻松解决 - 2

    相信很多人在录制视频的时候都会遇到各种各样的问题,比如录制的视频没有声音。屏幕录制为什么没声音?今天小编就和大家分享一下如何录制音画同步视频的具体操作方法。如果你有录制的视频没有声音,你可以试试这个方法。 一、检查是否打开电脑系统声音相信很多小伙伴在录制视频后会发现录制的视频没有声音,屏幕录制为什么没声音?如果当时没有打开音频录制,则录制好的视频是没有声音的。因此,建议在录制前进行检查。屏幕上没有声音,很可能是因为你的电脑系统的声音被禁止了。您只需打开电脑系统的声音,即可录制音频和图画同步视频。操作方法:步骤1:点击电脑屏幕右下侧的“小喇叭”图案,在上方的选项中,选择“声音”。 步骤2:在“声

  5. 【高数】用拉格朗日中值定理解决极限问题 - 2

    首先回顾一下拉格朗日定理的内容:函数f(x)是在闭区间[a,b]上连续、开区间(a,b)上可导的函数,那么至少存在一个,使得:通过这个表达式我们可以知道,f(x)是函数的主体,a和b可以看作是主体函数f(x)中所取的两个值。那么可以有,  也就意味着我们可以用来替换 这种替换可以用在求某些多项式差的极限中。方法: 外层函数f(x)是一致的,并且h(x)和g(x)是等价无穷小。此时,利用拉格朗日定理,将原式替换为 ,再进行求解,往往会省去复合函数求极限的很多麻烦。使用要注意:1.要先找到主体函数f(x),即外层函数必须相同。2.f(x)找到后,复合部分是等价无穷小。3.要满足作差的形式。如果是加

  6. 「Python|Selenium|场景案例」如何定位iframe中的元素? - 2

    本文主要介绍在使用Selenium进行自动化测试或者任务时,对于使用了iframe的页面,如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候,可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签,如果直接查找是无法找到的,会抛出没有找到元素的异常。比如近在咫尺的例子就是,CSDN的登录窗体就是使用的iframe,大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素,会抛出NoSuchElementException异常。解决

  7. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  8. 深度学习部署:Windows安装pycocotools报错解决方法 - 2

    深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  9. 微信小程序开发入门与实战(Behaviors使用) - 2

    @作者:SYFStrive @博客首页:HomePage📜:微信小程序📌:个人社区(欢迎大佬们加入)👉:社区链接🔗📌:觉得文章不错可以点点关注👉:专栏连接🔗💃:感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序(🔥)目录自定义组件-behaviors    1、什么是behaviors    2、behaviors的工作方式    3、创建behavior    4、导入并使用behavior    5、behavior中所有可用的节点    6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors    1、什么是behaviorsbehaviors是小程序中,用于实现

  10. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作,这种方式比较简单,也比较容易理解。本文为大家介绍另一种不使用递归的方式,由于没有使用递归,只用到了循环和集合,所以效率更高一些!一、使用递归遍历文件夹整体思路1、使用File封装初始目录,2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组,取出每个File对象4-1、如果File是否是一个文件,打印4-2、否则就是一个目录,递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

随机推荐