草庐IT

【面试大全-缓存】-Redis必修课

rundreamsFly 2023-06-05 原文

为什么要用缓存

  • 使用缓存的目的是提高读写性能,在实际业务场景下,更多是为了提高读的性能,带来更高的并发量,Redis的读写性能比Mysql好很多,这个时候可以把Mysql的热点数据同步到Redis中来。

Redis有哪些好处

  • 读取速度快,响应快
  • 支持多种数据结构:字符串、列表、集合、有序集合、哈希等。
  • 支持事务,且操作遵守原子性
  • 其他丰富的功能:队列、主从复制、集群、数据持久化等。
  • 持久化存储,Redis提供RDB和AOP两种持久化存储方案,解决Redis挂掉数据丢失问题。
  • 缺点
  • 内存数据库,受单台物理机器内存的大小,虽然Redis有过期策略,但还是需要提前预估和节约内存。
  • 修改配置文件,进行重启,时间比较久,这端时间不能提供服务。

为什么 使用 Redis 而不是用 Memcache 呢

  • Redis和Memcache都是将数据存放到内存中,都是内存数据库,不过Memcache还可以用于图片、视频等缓存。
  • Memcache仅支持key-value数据结构、Redis不仅支持key-value数据结构,还支持list、set、hash等
  • Redis当物理内存用完的时候,还可以将很久没用的value持久化到磁盘。
  • 存储数据安全,Memcache挂掉后数据不存在了,Redis定期持久化到磁盘。
  • Memcache单个value最大1M,Redis单个最大512M
  • Redis原生支持集群,Memcache没用原生支持集群,需要在客户端自己实现。

为什么Redis单线程模型效率也非常高

  • C语言开发、效率高
  • 纯内存操作
  • 基于非阻塞的IO多路复用
  • 单线程能够避免多线程上下文切换带来的额外开销

说说Redis的线程模型

  • Redis内部使用 文件事件处理器。因为这个文件事件是单线程的,所以Redis也叫做单线程的模型,它采用IO多路复用同事监听多个Soket,根据Soket上的事件来选择对应的事件处理器:
  • 文件事件处理器包含4个部分:
  • 多个Soket
  • IO多路复用程序
  • 文件事件分派器
  • 事件处理器
  • 多个Soket可能会并发产生不同的操作,每个操作对应不同的文件事件,但是IO多路复用会监听多个Soket,会将Soket产生的事件放入队列中进行排队,事件分派器每次从队列中取出一个事件,把该事件交给对应的事件处理器处理。

为什么Redis要把所有数据放在内存中

  • Redis将数据放在内存中有一个好处,那就是实现最快的速度对数据进行存取,如果数据存储在硬盘中,磁盘IO会严重影响Redis性能,而且Redis提供了持久化功能,不用担心服务器重启对内存中数据的影响,其次硬件越来越便宜的情况下,Redis也越来越受欢迎。

Redis缓存刷新策略有哪些

  • maxmemory-policy volatile-lru
  • LRU(最久没有被访问的数据最闲被淘汰)
  • LFU(最近没有被访问到的数据最先被淘汰)
  • FIFO(最先进入的数据最闲被淘汰)
  • 超时剔除

Redis持久化方式方式有哪些,以及有什么区别

  • RDB AOF 两种持久化方式
  • RDB持久化快照的方式半持久化,记录所有的键值对,在某个节点将数据写入一个临时文件,持久化结束后,用和这个文件替换上次的文件,达到数据恢复。
  • 优点:
  • 只有一个dump.rdb文件,方便持久化或者数据恢复
  • 性能最大化,采用fork一个子进程来操作,让主进程继续处理命令,让子进程进行处理,保证了Redis的性能
  • 缺点:
  • 数据安全性低,RDB是间隔一段时间进行持久化,如果持久化时发生故障,会发生数据丢失,这种方式适合数据要求不严谨的时候。
  • AOF持久化:所有命令按指定的协议持久化存储,保存为AOF文件
  • 优点:
  • 数据安全,可以通过配置每次都可以进行记录
  • AOF机制的rewrite模式,可以对AOF命令合并重写,当误操作时,也可以删除某些命令进行恢复
  • 缺点:
  • AOF比RDB文件要大,且恢复速度慢
  • 数据集大的时候,比RDB启动效率低

Redis持久化方式如何选择

  • 不仅仅使用RDB这样回照成很多数据丢失
  • 也不仅仅使用AOF,AOF恢复速度慢,AOF每次都会记录命令,恢复难度可能增大
  • Redis支持同事开启两种方式持久化方式,我们可以综合这两种机制,用AOF来保证数据不丢失,做为数据恢复的第一选择,用RDB来做不同程度的冷备,在AOF丢失或者损坏的时候,采用RDB进行恢复
  • 如果两种都开启,在Redis重启的时候,会采用AOF来加载数据,因为AOF数据更加完整

Redis事务的理解

  • Redis事务是一组组合命令,是Redis的最小执行单位,它可以保证一次执行多条命令,每个事务是一个单独的隔离操作,事务中所有的命令都会序列化,按顺序执行。
  • Redis事务不支持回滚,回滚需要增加很多工作,Redis保持简单、快速的特性。

为什么Redis设计成单线程

  • 多线程的话会设计到锁的操作,并且多线程会有线程切换上下文开销,而且CPU目前不是Redis的瓶颈,Redis的瓶颈最有可能是机器内存和网络开销。

什么是 bigkey?会存在什么影响

  • bigkey是指占用内存比较大的key,比如一个字符串可以占用300M
  • 网络阻塞:获取key时,传输数据量比较大,增加带宽压力
  • 超时阻塞:因为bigkey占用的空间比较大,所以操作起来效率会比较低,导致出现阻塞的可能性增加。

Redis集群模式

  • Redis Sentinel:体量较小时,选择单机部署
  • Redis Cluster:官方提供的集群解决方案,体量较大时,使用Redis Cluster,通过分片,使用更多内存。

Redis Cluster集群模式原理

  • 所有节点相互相连
  • 集群节点挂掉会自动转移

Redis Cluster 集群方案什么情况下会导致整个集群不可用

  • Redis没有使用哈希一致性算法,使用的是哈希槽,Redis中哈希槽一共有16384个,假设有三个集群节点,挂掉一个节点时,在某段时间这段哈希槽是不可用的,也就是集群不可用。

Redis集群有哪几种

  • 单节点单机模式
  • 也支持一主多从结构
  • 带有哨兵的集群部署

Redis常见性能问题有哪些

  • Master最好不要做持久化工作,入RDB快照,AOF日志文件
  • 如果数据比较重要,可以在slave开启AOF日志按秒进行配置持久化
  • 为了主从复制的安全性和稳定性,最好部署在同一局域网内
  • 主从复制不要用图状结构,用单向链表结构更为稳定,即 Master -> Slave1 -> Slave2 -> Slave3 。如果master挂掉,Salve1立即启用做为master。

假设Redis有1亿个key,其中10w个key是以固定的title,如何将他们快速查找出来

  • 我们可以使用 keys 和 scan 命令
  • 使用 keys 命令 :可以使用keys进行全数据查询,当然Redis是单线程,数据量过大会进行阻塞,而且keys没有分页功能。
  • 使用 scan 命令:scan命令和keys命令一样具有匹配功能,但是scan命令不会阻塞线程,并且查找的数据可能存在重复,需要客户端自己去重,因为scan是通过游标进行查询的,所以不会导致Redis出现假死,scan在检索过程中,被删除的元素是不会被查询出来的,相对来说scan命令耗费的时间更长,但是不影响Redis正常使用。

什么情况下会导致Redis阻塞

  • Redis主机负载过高,也会导致系统崩溃
  • 数据持久化占用过多的资源
  • 对Redis的API使用不当,导致Redis出现问题
  • 外部服务器问题(cpu、内存、网络)

缓存和数据库哪个先更新呢

  • 为了解决数据不至于问题,其中一种解决方案是使用读写串行化,可以通过队列来实现,但是可能存在读请求的挤压,读请求并发高。
  • 如果写入数据库和更新到缓存的值是一致的时候,这个时候可以同步更新缓存和数据库,如果对于写比较频繁,而读不频繁的时候,我们需要对对缓存进行删除,等读的时候再去获取
  • 如果写数据的值和缓存的值不一致的时候,写入缓存的数据需要通过几个表进行计算,那就没必要马上更新缓存,需要要删除缓存即可,等获取需要的时候再去进行计算
  • 一般的解决方案是先删除缓存数据,再更新数据库。
  • 常见的三种方式:
  • 先更新数据库库、再更新缓存
  • 先删除缓存,再更新数据库
  • 先更新数据库,再删除缓存。
  • 首先我们放入缓存的数据本来就不应该是实时性要求过高,比如用户余额,所以缓存的过期时间保证最终一致性是比较靠谱的。
  • 我们不应该过度设计增加系统的复杂度
  • 遇到实时性、一致性要求较高的,就应该查询数据库,即使可能性能不高。

怎么提高缓存命中率

  • 提前加载业务数据到缓存中
  • 增加缓存存储空间,提高能够缓存的数据
  • 提高缓存的更新频率

Redis 如何解决 key 冲突

  • Redis中,如果key相同,后面一个会覆盖前面一个,如果要解决key冲突,就要有一套key命名规则,比如 按 业务 + 系统 + 子模块 等自定义命名规则。

Redis 报内存不足怎么处理

  • 修改配置文件 maxmemory 参数,曾大内存
  • 设置缓存淘汰策略,提高内存的使用率
  • 使用Redis集群,提高存储量

缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题

  • 缓存雪崩:系统设置的缓存在同一时间大面积过期,这时业务都去查询DB,给DB造成很大的压力,可能导致服务器岩机。
  • 解决办法:讲缓存失效时间分散。
  • 缓存穿透:指用户查询的时候缓存里面没有,数据库里面也没有,这两就会导致查询2次无用的操作,这样就绕过缓存直接查询数据库。
  • 解决办法:1.布隆过滤器:将所有可能存在的数据存在一个bitmap中,一个一定不存在的数据会被拦截掉,从而避免了对底层系统的压力。2.简单的方法:查询为空,继续缓存这个空的value,过期时间相对设置短一些。
  • 缓存预热:系统上线后,将相关系统的缓存直接存入缓存系统中,避免短时间内大量查询数据库。
  • 解决方法:1.直接写个缓存刷新页面,上线时统一刷新。2.数据量不大时可以初始化加载。

有关【面试大全-缓存】-Redis必修课的更多相关文章

  1. ruby - 如何在 Ubuntu 中清除 Ruby Phusion Passenger 的缓存? - 2

    我试过重新启动apache,缓存的页面仍然出现,所以一定有一个文件夹在某个地方。我没有“公共(public)/缓存”,那么我还应该查看哪些其他地方?是否有一个URL标志也可以触发此效果? 最佳答案 您需要触摸一个文件才能清除phusion,例如:touch/webapps/mycook/tmp/restart.txt参见docs 关于ruby-如何在Ubuntu中清除RubyPhusionPassenger的缓存?,我们在StackOverflow上找到一个类似的问题:

  2. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

    尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

  3. 【Java 面试合集】HashMap中为什么引入红黑树,而不是AVL树呢 - 2

    HashMap中为什么引入红黑树,而不是AVL树呢1.概述开始学习这个知识点之前我们需要知道,在JDK1.8以及之前,针对HashMap有什么不同。JDK1.7的时候,HashMap的底层实现是数组+链表JDK1.8的时候,HashMap的底层实现是数组+链表+红黑树我们要思考一个问题,为什么要从链表转为红黑树呢。首先先让我们了解下链表有什么不好???2.链表上述的截图其实就是链表的结构,我们来看下链表的增删改查的时间复杂度增:因为链表不是线性结构,所以每次添加的时候,只需要移动一个节点,所以可以理解为复杂度是N(1)删:算法时间复杂度跟增保持一致查:既然是非线性结构,所以查询某一个节点的时候

  4. 7个大一C语言必学的程序 / C语言经典代码大全 - 2

    嗨~大家好,这里是可莉!今天给大家带来的是7个C语言的经典基础代码~那一起往下看下去把【程序一】打印100到200之间的素数#includeintmain(){ inti; for(i=100;i 【程序二】输出乘法口诀表#includeintmain(){inti;for(i=1;i 【程序三】判断1000年---2000年之间的闰年#includeintmain(){intyear;for(year=1000;year 【程序四】给定两个整形变量的值,将两个值的内容进行交换。这里提供两种方法来进行交换,第一种为创建临时变量来进行交换,第二种是不创建临时变量而直接进行交换。1.创建临时变量来

  5. 西安华为OD面试体验 - 2

    西安华为OD面试体验开始投简历技术面试进展工作进展开始投简历去年一整年一直在考研和工作之间纠结,感觉自己的状态好像当时的疫情一样差劲。之前刚毕业的时候投了个大厂的简历,结果一面写算法的时候太拉跨了,虽然知道时dfs但是代码熟练度不够,放在平时给足时间自己可以调试通过,但是熟练度不够那面试当时就写不出来被刷了。说真的算法学到后期我感觉最重要的是熟练度和背板子(对于我这种普通玩家来说),面试题如果一上来短时间内想不出思路就完蛋了。然后由于当时找的工作不是很理想就又想考研了。但是考研是有风险的,我自我感觉自己可能冲不上那个学校,而找工作一个没成可以继续找嘛。本着抱着试试看的态度在boss上投了简历,

  6. ruby-on-rails - bundle 安装尝试使用缓存文件 - 2

    当我尝试进行bundle安装时,我的gem_path和gem_home指向/usr/local/rvm/gems/我没有写入权限,并且由于权限无效而失败。因此,我已将两个路径都更改为我具有写入权限的本地目录。这样做时,我进行了bundle安装,我得到:bruno@test6:~$bundleinstallFetchinggemmetadatafromhttps://rubygems.org/.........Fetchinggemmetadatafromhttps://rubygems.org/..Bundler::GemspecError:Couldnotreadgemat/afs/

  7. ruby-on-rails - Heroku Action 缓存似乎不起作用 - 2

    我一直在Heroku上尝试不同的缓存策略,并添加了他们的memcached附加组件,目的是为我的应用程序添加Action缓存。但是,当我在我当前的应用程序上查看Rails.cache.stats时(安装了memcached并使用dalligem),在执行应该缓存的操作后,我得到current和total_items为0。在Controller的顶部,我想缓存我有的Action:caches_action:show此外,我修改了我的环境配置(对于在Heroku上运行的配置)config.cache_store=:dalli_store我是否可以查看其他一些统计数据,看看它是否有效或我做错

  8. ruby-on-rails - rails expire_page 没有删除缓存的文件 - 2

    我有一个具有页面缓存的ControllerAction,我制作了一个清扫程序,它使用Controller和指定的Action调用expire_page...Controller操作呈现一个js.erb模板,所以我试图确保expire_page删除public/javascripts中的.js文件,但它没有这样做。classJavascriptsController"javascripts",:action=>"lol",:format=>'js')endend...所以,我访问javascripts/lol.js并呈现我的模板。我验证了public/javascripts/lol.js

  9. ruby-on-rails - rails 3 缓存 : expire action for named route - 2

    我的Controller有这个:caches_action:render_ticker_for_channel,:expires_in=>30.seconds在我的路由文件中我有这个:match'/render_c_t/:channel_id'=>'render#render_ticker_for_channel',:as=>:render_channel_ticker在日志文件中我看到了这个:Writefragmentviews/mcr3.dev/render_c_t/63(11.6ms)我如何手动使它过期?我需要从与渲染Controller不同的Controller使它过期,但即使

  10. ruby - 更新 gem 时 Docker 包安装缓存问题 - 2

    我在开发和生产中都使用docker,真正困扰我的一件事是docker缓存的简单性。我的ruby​​应用程序需要bundleinstall来安装依赖项,因此我从以下Dockerfile开始:添加GemfileGemfile添加Gemfile.lockGemfile.lock运行bundleinstall--path/root/bundle所有依赖项都被缓存,并且在我添加新gem之前效果很好。即使我添加的gem只有0.5MB,从头开始安装所有应用程序gem仍然需要10-15分钟。由于依赖项文件夹的大小(大约300MB),然后再花10分钟来部署它。我在node_modules和npm上遇到了

随机推荐