草庐IT

Redis 原理 - List

Broadm 2023-03-28 原文

List 数据结构

  1. Redis 3.2 前,使用 压缩列表zipList 或 双向链表linkedList
    当同时满足下面两个条件时,使用zipList存储数据

    • list保存的每个元素长度小于64字节
    • 列表中数据个数少于512个
  2. Redis 3.2 及之后的底层实现方式: quickList
    quickList 是一个基于 zipList 的双向链表, quickList 的每个节点都是一个 zipList , 结合了双向链表和 zipList 的优点

双向链表就不多说了,就是基础的数据结构

压缩列表(zipList)

struct ziplist<T> {
    int32 zlbytes; // 整个压缩列表占用字节数
    int32 zltail_offset; // 最后一个元素距离压缩列表起始位置的偏移量,用于快速定位到最后一个节点
    int16 zllength; // 元素个数
    T[] entries; // 元素内容列表,挨个挨个紧凑存储
    int8 zlend; // 标志压缩列表的结束,值恒为 0xFF
}

struct entry {
    int prevlen; // 前一个 entry 的字节长度
    int encoding; // 元素类型编码
    byte[] content; // 元素内容
}

  • 优势: 内存连续,高效顺序访问,减少内存碎片.
  • 劣势: 当数据量过大时,zipList就不那么好用了. 因为为了保证它存储内容在内存中的连续性,插入的复杂度为O(N),而且如果超出zipList内存大小,还会做重新分配的内存空间,并将内容复制到新的地址. 如果数量大的话,重新分配内存和拷贝内存会消耗大量时间. 所以不适合大型字符串,也不适合存储量多的元素..

适用场景: 少量数据, 读远大于写,提供高效的读取操作

快速列表(quickList)

是zipList和linkedList的结合体,是将linkedList按段切分,每一段用zipList来紧凑存储

typedef struct quicklist {
    quicklistNode *head; // 指向quicklist的头节点
    quicklistNode *tail; // 指向quicklist的尾节点
    unsigned long count; // 压缩列表中总元素数量
    unsigned int len; //链表节点的个数 quicklistNode
    int fill : 16; // ziplist大小限定,由list-max-ziplist-size给定
    unsigned int compress : 16; // 节点压缩深度设置,由list-compress-depth给定
} quicklist;

typedef struct quicklistNode {
    struct quicklistNode *prev; // 指向上一个ziplist节点
    struct quicklistNode *next; // 指向下一个ziplist节点
    unsigned char *zl; // 数据指针,如果没有被压缩,就指向ziplist结构,反之指向quicklistLZF结构
    unsigned int sz; // 指向的ziplist的字节数
    unsigned int count : 16; // 指向的ziplist的元素个数
    unsigned int encoding : 2;   /* RAW==1 or LZF==2 */
    unsigned int container : 2;  // 预留字段,存放数据的方式,1--NONE,2--ziplist
    unsigned int recompress : 1;     // 解压标记,当查看一个被压缩的数据时,需要暂时解压,标记此参数为1,之后再重新进行压缩
    unsigned int attempted_compress : 1; /* node can't compress; too small */
    unsigned int extra : 10; // 扩展字段
} quicklistNode;

typedef struct quicklistLZF {
    unsigned int sz; // LZF压缩后占用的字节数
    char compressed[]; // 柔性数组,存放压缩后的ziplist字节数组
} quicklistLZF;

在向quicklist添加一个元素的时候,不会像普通的链表那样,直接新建一个链表节点。而是会检查插入位置的 ziplist 是否能容纳该元素,如果能够容纳,那么就直接保存到ziplist,如果不能容纳,才会新建一个Node节点,并保存到新的 ziplist 中。

总结

quickList 结合了 ziplist 和 双向链表的优点, 相当于把 双向链表 拆分为 一段段的 ziplist , 每一段的 ziplist 是连续存储的, 可以做到高效的顺序访问,有利于减少内存碎片.

List的常用命令

  • LPUSH key element ... 向列表的左侧插入一个或多个元素
  • RPUSH key element ... 向列表的右侧插入一个或多个元素
  • LPOP key 移除并返回列表左侧的第一个元素
  • RPOP key 移除并返回列表右侧的第一个元素
  • LRANGE key start stop 返回索引范围内的所有元素
  • BLPOP key timeout 移除并返回列表左侧的第一个元素,没有元素时会阻塞等待指定的时间
  • BRPOP key timeout 移除并返回列表右侧的第一个元素,没有元素时会阻塞等待指定的时间
  • 更多的List命令,请查阅 官方文档

有关Redis 原理 - List的更多相关文章

  1. ruby-on-rails - Rails - Carrierwave 进程抛出 ArgumentError : no images in this image list - 2

    在尝试实现应用auto_orient的过程之后!对于我的图片,我收到此错误:ArgumentError(noimagesinthisimagelist):app/uploaders/image_uploader.rb:36:in`fix_exif_rotation'app/controllers/posts_controller.rb:12:in`create'Carrierwave在没有进程的情况下工作正常,但在添加进程后尝试上传图像时抛出错误。流程如下:process:fix_exif_rotationdeffix_exif_rotationmanipulate!do|image|

  2. ruby-on-rails - 将 acts_as_list 与 has_many 一起使用 :through in rails - 2

    我有一个Rails应用程序,我正在尝试使用acts_as_list插件设置可排序列表。数据库中的位置字段正在更新,但是在呈现页面时,不考虑顺序。我想我是在寻求帮助。这是我的模型...classQuestionMembership:question_membershipsendclassQuestion:question_membershipsacts_as_listend还有给我列表的草率View代码...>true)%>拖放用于重新排序。数据库中QuestionMembership对象的位置值更新,页面实际上正确显示重新排序。问题是在页面重新加载时,它默认返回到它感觉的任何顺序。我认

  3. 【Unity游戏破解】外挂原理分析 - 2

    文章目录认识unity打包目录结构游戏逆向流程Unity游戏攻击面可被攻击原因mono的打包建议方案锁血飞天无限金币攻击力翻倍以上统称内存挂透视自瞄压枪瞬移内购破解Unity游戏防御开发时注意数据安全接入第三方反作弊系统外挂检测思路狠人自爆实战查看目录结构用il2cppdumper例子2-森林whoishe后记认识unity打包目录结构dll一般很大,因为里面是所有的游戏功能编译成的二进制码游戏逆向流程开发人员代码被编译打包到GameAssembly.dll中使用il2ppDumper工具,并借助游戏名_Data\il2cpp_data\Metadata\global-metadata.dat

  4. ruby-on-rails - rails : Form Select From Array/List Instance Variable - 2

    我有一个Rails应用程序,其中有一个表单选择(下拉列表)。例如,用户可以从1,2,3,4,5中选择例如,我将这些值作为实例变量存储在数组中,例如:@formlist=[1,2,3,4,5]我怎样才能简单地将数组放入表单选择助手而不是单独列出每个项目。目前我的代码是:"1",2=>"2",3=>"3",4=>"4",5=>"5"})%> 最佳答案 这应该有效:f.select(:heat_level,@formlist.map{|value|[value,value]})一些解释:formselect可以处理类似哈希和类似数组的选项

  5. ruby - 在 ruby​​ 中优雅地实现 'map (+1) list' - 2

    title中的短代码是在Haskell中,它做了类似的事情list.map{|x|x+1}ruby。虽然我知道那种方式,但我想知道的是,是否有更优雅的方式来像在Haskell中一样在ruby​​中实现同样的事情。我真的很喜欢ruby​​中的to_proc快捷方式,就像这样:[1,2,3,4].map(&:to_s)[1,2,3,4].inject(&:+)但这只接受Proc和方法之间完全匹配的参数数。我正在尝试寻找一种方法,允许将一个或多个参数额外传递到Proc,而不像第一个演示那样使用无用的临时block/变量。我想这样做:[1,2,3,4].map(&:+(1))ruby是否有类似

  6. Slowloris DoS攻击的原理与简单实现 - 2

    前言    Slowloris攻击是我在李华峰老师的书——《MetasploitWeb 渗透测试实战》里面看的,感觉既简单又使用,现在这种攻击是很容易被防护的啦。不过我也不敢真刀实战的去试,只是拿个靶机玩玩罢了。         废话还是写在结语里面吧。(划掉)结语可以不看(划掉)Slowloris攻击的原理        Slowloris是一种资源消耗类DoS攻击,它利用部分HTTP请求进行操作。也叫做慢速攻击,这里的慢速并不是说发动攻击慢,而是访问一条链接的速度慢。Slowloris攻击的功能是打开与目标Web服务器的连接,然后尽可能长时间的保持这些连接打开。如果由多台电脑同时发起Slo

  7. ruby - RubyMine 中的 "Get Available Generators List"警告。我该如何摆脱这个? - 2

    我正在使用RubyMine5.4.1并使用ruby​​1.9.3-p0创建一个新的rails3.2.9应用程序,并收到以下警告。我相信bundler当时正在运行install。警告标题为“GetAvailableGeneratorsList”,并发出以下警告,第一个是“Getavailablegeneratorsscriptexecuteswitherrors”:这是在告诉我我必须提供一个“secret”来让future版本的rake正常运行,还是在告诉我提供“secret”只是一个临时修复,但不适用于rake的future版本?如何永久修复此警告,以便我可以接受rake,并处理漏洞?

  8. ruby-on-rails - ruby rails : How do you list the partial paths that are rendered for a page? - 2

    我希望列出为我的应用程序中的每个页面呈现的部分内容。例如,当显示app/tasks/index.html.erb页面时,我想向用户显示如下内容:Partialsrenderedforthispage:tasks/_list.html.erbtasks/_button.html.erbtasks/_navigation.html.erb在RubyonRails中有什么方法可以做到这一点吗? 最佳答案 是的,在Rails中完全可以做到这一点!正如bdares在他的评论中指出的那样,用于模板渲染的行出现在日志中。但他们最初是如何到达那里的

  9. [蓝桥杯单片机]学习笔记——串口通信的基本原理与应用 - 2

    目录一、原理部分1、什么是串行通信(1)并行通信与串行通信(2)串行通信的制式(3)串行通信的主要方式  2、配置串口(1)SCON和PCON:串行口1的控制寄存器(2)SBUF:串行口数据缓冲寄存器 (3)AUXR:辅助寄存器​编辑(4)ES、PS:与串行口1中断相关的寄存器(5)波特率设置  3、串口框架编写二、程序案例一、原理部分1、什么是串行通信(1)并行通信与串行通信微控制器与外部设备的数据通信,根据连线结构和传送方式的不同,可以分为两种:并行通信和串行通信。并行通信:数据的各位同时发送与接收,每个数据位使用一条导线,这种方式传输快,但是需要多条导线进行信号传输。串行通信:数据一位一

  10. ruby - Ruby 方法返回 splat-list 的任何理由? - 2

    Ruby语言源代码,lib/fileutils.rb,方法mkdir_p简化后如下所示:defmkdir_p(list,options={})return*listifoptions[:noop]#...return*listend从我对Ruby的了解和测试来看,这里没有意义。是否有任何边缘情况会产生影响?相关地,如果不存在这会影响输出的边缘情况,splat是完全无害的还是会导致任何Ruby解释器执行额外(不必要的)工作? 最佳答案 returnl和return*l其实是有区别的;这有助于了解要查找的内容。一个重要的区别是它生成数组

随机推荐