草庐IT

缓存穿透,缓存雪崩,缓存击穿

在锻炼的新生代农民工 2023-03-28 原文

缓存穿透,缓存雪崩,缓存击穿

本文整理自黑马程序员相关资料

缓存穿透

缓存穿透是指客户端请求的数据在缓存中和数据库中都部存在,这样缓存永远不会生效。因此这些请求都会穿过缓存,最终请求到数据库上,对数据库造成非常大的压力。

常见的解决方案有两种:

  1. 缓存空对象:当缓存和数据库都没有请求的数据时,将查询的key的value设置为NULL值缓存到Redis中,下次再查询时会在Redis中查到NULL值,请求不会到达数据库。

    • 优点:实现简单,维护方便
    • 缺点:
      • 因为缓存了空对象,任意key的查询都缓存了NULL值,相当于缓存了很多的无用数据。所以造成了额外了内存消耗。可以通过设置TTL过期时间来减少内存的消耗
      • 可能会存在短期的不一致,取决于NULL值的过期时间。例如对一个key设置了NULL值。但是数据库刚好更新了该key对应的值。而Redis中该key对应的值为NULL,只有在这个key过期之后,才会更新为数据库中的值。
  2. 布隆过滤:在客户端与Redis中间加入布隆过滤器,如果布隆过滤器判断查询的数据不存在则直接拒绝。布隆过滤器如果判断不存在则一定不存在,判断存在则可能不存在。

    • 优点:内存占用少,没有多余的key
    • 缺点:
      • 实现复杂
      • 存在误判可能。因为布隆过滤器如果判断不存在则一定不存在,判断存在则可能不存在。

​ 缓存穿透的其他解决方案:

  • 增强key的复杂性,避免被猜测key的规律
  • 做好数据的基础格式校验,如果不符合预先设置的格式,直接拒绝。
  • 加强用户权限校验,避免接收不相干用户发出的恶意请求
  • 做好热点参数的限流

缓存雪崩

缓存雪崩是指在同一时段大量缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,给数据库带来巨大压力。

解决方案:

  • 给不同的key的TTL添加随机值,避免大量的key同时到期
  • 利用Redis集群提高服务的可用性,避免Redis服务宕机后的数据丢失和请求直达数据库
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

缓存击穿

缓存击穿问题也叫热点key问题,就是一个高并发访问并且缓存重建业务比较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击。

解决方案:

互斥锁:即只允许一个线程进行缓存重建,其他线程在缓存重建成功之前只能不断的重试。

逻辑过期:在热点key的value中设置逻辑过期时间,查询缓存的时候判断逻辑过期时间是否已经过期,如果已经过期,则获取互斥锁另开线程进行缓存重建。其他线程发现过期但获取互斥锁失败,返回过期数据。

两种解决方案的优缺点:

解决方案 优点 缺点
互斥锁 因为没有设置逻辑过期时间,所以没有额外的内存消耗。保持一致性。实现简单 线程需要等待,性能受影响。可能有死锁风险
逻辑过期 线程无需等待,性能较好 不保证一致性。有额外的内存消耗。实现复杂

有关缓存穿透,缓存雪崩,缓存击穿的更多相关文章

  1. ruby - 如何在 Ubuntu 中清除 Ruby Phusion Passenger 的缓存? - 2

    我试过重新启动apache,缓存的页面仍然出现,所以一定有一个文件夹在某个地方。我没有“公共(public)/缓存”,那么我还应该查看哪些其他地方?是否有一个URL标志也可以触发此效果? 最佳答案 您需要触摸一个文件才能清除phusion,例如:touch/webapps/mycook/tmp/restart.txt参见docs 关于ruby-如何在Ubuntu中清除RubyPhusionPassenger的缓存?,我们在StackOverflow上找到一个类似的问题:

  2. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

    尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

  3. ruby-on-rails - bundle 安装尝试使用缓存文件 - 2

    当我尝试进行bundle安装时,我的gem_path和gem_home指向/usr/local/rvm/gems/我没有写入权限,并且由于权限无效而失败。因此,我已将两个路径都更改为我具有写入权限的本地目录。这样做时,我进行了bundle安装,我得到:bruno@test6:~$bundleinstallFetchinggemmetadatafromhttps://rubygems.org/.........Fetchinggemmetadatafromhttps://rubygems.org/..Bundler::GemspecError:Couldnotreadgemat/afs/

  4. ruby-on-rails - Heroku Action 缓存似乎不起作用 - 2

    我一直在Heroku上尝试不同的缓存策略,并添加了他们的memcached附加组件,目的是为我的应用程序添加Action缓存。但是,当我在我当前的应用程序上查看Rails.cache.stats时(安装了memcached并使用dalligem),在执行应该缓存的操作后,我得到current和total_items为0。在Controller的顶部,我想缓存我有的Action:caches_action:show此外,我修改了我的环境配置(对于在Heroku上运行的配置)config.cache_store=:dalli_store我是否可以查看其他一些统计数据,看看它是否有效或我做错

  5. ruby-on-rails - rails expire_page 没有删除缓存的文件 - 2

    我有一个具有页面缓存的ControllerAction,我制作了一个清扫程序,它使用Controller和指定的Action调用expire_page...Controller操作呈现一个js.erb模板,所以我试图确保expire_page删除public/javascripts中的.js文件,但它没有这样做。classJavascriptsController"javascripts",:action=>"lol",:format=>'js')endend...所以,我访问javascripts/lol.js并呈现我的模板。我验证了public/javascripts/lol.js

  6. ruby-on-rails - rails 3 缓存 : expire action for named route - 2

    我的Controller有这个:caches_action:render_ticker_for_channel,:expires_in=>30.seconds在我的路由文件中我有这个:match'/render_c_t/:channel_id'=>'render#render_ticker_for_channel',:as=>:render_channel_ticker在日志文件中我看到了这个:Writefragmentviews/mcr3.dev/render_c_t/63(11.6ms)我如何手动使它过期?我需要从与渲染Controller不同的Controller使它过期,但即使

  7. ruby - 更新 gem 时 Docker 包安装缓存问题 - 2

    我在开发和生产中都使用docker,真正困扰我的一件事是docker缓存的简单性。我的ruby​​应用程序需要bundleinstall来安装依赖项,因此我从以下Dockerfile开始:添加GemfileGemfile添加Gemfile.lockGemfile.lock运行bundleinstall--path/root/bundle所有依赖项都被缓存,并且在我添加新gem之前效果很好。即使我添加的gem只有0.5MB,从头开始安装所有应用程序gem仍然需要10-15分钟。由于依赖项文件夹的大小(大约300MB),然后再花10分钟来部署它。我在node_modules和npm上遇到了

  8. ruby-on-rails - 在缓存中找不到 StaleElementReference 错误元素 - 2

    我正在使用Capybara2.1和Ruby1.9.3,使用selenium驱动程序(带有Minitest和测试单元)来测试网络应用程序。我正在努力解决StaleElementReferenceException问题。我已经看到很多关于该主题的讨论,但我无法找到解决我所面临问题的方法。所以基本上,我试图使用以下代码在我的页面上找到所有分页元素:pagination_elements=page.all('.paginationa')然后我对这些元素做一些断言,例如:pagination_elements.first.must_have_content('1')在这些断言之后,我通过单击下一

  9. 最强Http缓存策略之强缓存和协商缓存的详解与应用实例 - 2

    HTTP缓存是指浏览器或者代理服务器将已经请求过的资源保存到本地,以便下次请求时能够直接从缓存中获取资源,从而减少网络请求次数,提高网页的加载速度和用户体验。缓存分为强缓存和协商缓存两种模式。一.强缓存强缓存是指浏览器直接从本地缓存中获取资源,而不需要向web服务器发出网络请求。这是因为浏览器在第一次请求资源时,服务器会在响应头中添加相关缓存的响应头,以表明该资源的缓存策略。常见的强缓存响应头如下所述:Cache-ControlCache-Control响应头是用于控制强制缓存和协商缓存的缓存策略。该响应头中的指令如下:max-age:指定该资源在本地缓存的最长有效时间,以秒为单位。例如:Ca

  10. ruby-on-rails - 缓存 WSDL 文件而不是在每个 SOAP 请求时获取它 - 2

    我正在构建一个Rails应用程序,该应用程序将基本上包含一组SOAP命令。我不想每次都获取WSDL来实现某种缓存方法,尽管我不太确定从哪里开始执行此操作。是否有特定于Rails的东西可以帮助我,或者我应该通过Ruby下载文件并加载它?只是在寻找某种总体方向...... 最佳答案 如果您使用savon然后是remoteWSDLwillbedownloadedonceperclientinstance:the(remote)WSDLhastobedownloadedandparsedonceforeveryclientandsocome

随机推荐