草庐IT

Redis - 对象结构

程序员翔仔 2023-03-28 原文

简介

Redis 使用对象存储数据库中的键和值,每当在 Redis 中创建一个新的键值对时,都会创建两个对象:一个是键对象,另一个是值对象。

其中,Redis 的每种对象都由对象结构和对应编码的数据结构组合而成,而每种对象类型对应若干编码方式,不同编码方式对应的底层数据结构也会有所不同。

数据库结构

Redis 服务器的数据库都保存在 redisServerdb 数组中,数组中的每个项都是 redisDb 结构,每个 redisDb 结构代表一个数据库。

下面是部分 redisServer 结构:

struct redisServer {
    redisDb *db;    // 保存数据库的数组
    int dbnum;      // 服务器的数据库数量
    // ...
};

其中,初始化服务器时,会根据 dbnum 的值决定创建多少个数据库。默认情况下,dbnum 的值是 16。

切换数据库

默认情况下,Redis 客户端的目标数据库是 0 号数据库,但是客户端可以使用 SELECT 命令切换目标数据库。

需要注意的是,Redis 现在没有向客户端返回目标数据库的命令,对数据库进行误操作极易出现不符合预期的情况,尤其是像 FLUSHDB 这样的命令。

比较好的做法是尽量少地在代码中切换数据库,即使是在命令行操作,也尽量显式地切换到指定的数据库,然后再执行命令。

数据库键空间

每一个数据库中都存储了一个字典,这个字典存储了数据库中的所有键值对,这个字典又被称为键空间。

所有对数据库中键值对的增删查改操作,实际上都是在操作键空间字典。

只是,由于数据库可以存储多种不同的数据结构类型,这些增删查改操作,都会使用对应数据结构提供的函数执行。

读写键空间的维护操作

当使用 Redis 命令对键空间字典进行读写操作时,服务器不仅会执行这些读写操作,还会做一些维护性的操作,提高 Redis 的可用性,其中包括:

  • 读取一个键时,服务器会根据键是否存在来更新键空间命中次数和不命中次数
  • 读取到一个键之后,服务器会更新这个键的 lru 属性
  • 如果服务器读取到键之后,发现这个键已经过期,会先删除这个键,再执行后续的操作
  • 如果有客户端使用 WATCH 命令监视这个键,服务器修改这个键之后,会将这个键标记为 dirty 状态
  • 服务器每次修改一个键之后,都会对脏计数器的值增 1,这个计数器会触发服务器的持久化或复制操作
  • 如果服务器开启了通知功能,那么对这个键做修改操作之后,服务器将按配置发送对应的数据库通知

类型与编码

Redis 中的每个对象都是由一个 redisObject 结构表示,其结构如下:

typedef struct redisObject {
    unsigned type:4;        // 类型
    unsigned encoding:4;    // 编码
    unsigned lru:LRU_BITS;  // 记录最后访问的时间
    int refcount;           // 引用计数
    void *ptr;              // 指向底层实现数据结构的指针
} robj;

其中 typeencodingptr 是最重要的三个属性。

数据类型

对象的 type 属性记录了数据结构的类型,它总是以下枚举值之一:

  • REDIS_STRING
  • REDIS_LIST
  • REDIS_HASH
  • REDIS_SET
  • REDIS_ZSET

对象编码

对象的 encoding 属性记录了 ptr 指针指向对象的编码方式,它总是以下枚举值之一:

  • OBJ_ENCODING_RAW
  • OBJ_ENCODING_INT
  • OBJ_ENCODING_HT
  • OBJ_ENCODING_ZIPMAP
  • OBJ_ENCODING_LINKEDLIST
  • OBJ_ENCODING_ZIPLIST
  • OBJ_ENCODING_INTSET
  • OBJ_ENCODING_SKIPLIST
  • OBJ_ENCODING_EMBSTR
  • OBJ_ENCODING_QUICKLIST
  • OBJ_ENCODING_STREAM

通过使用 encoding 属性设定对象的编码方式,而不是使用固定编码,这样极大地提高了 Redis 的灵活性和效率,也方便 Redis 针对不同的场景选择不同的编码,针对性地做优化。

对象指针

对象的 ptr 属性是一个指针,指向实际保存值的数据结构。

空转时间

对象的 lru 属性记录了对象最后一次被命令程序访问的时间。空转时间指的是当前时间减去 lru 属性得到的时长,即未被访问的时长。

键的空转时间在内存回收算法是 volatile-lruallkeys-lru 时使用到,当服务器占用的内存超过了 maxmemory 之后,空转时长较高的那部分键会优先被服务器释放,从而回收内存。

命令执行流程

Redis 中用于操作键的命令分为两类:任何类型的键都可以执行的命令、针对特定类型的键可执行的命令。例如 DELEXPIRE 等命令属于前者,SETHSET 等命令属于后者。

针对特定类型的键的执行命令,执行前需要检查键的类型,确定当前键是否可执行当前命令。

在 Redis 中,一个数据类型有可能对应多个编码方式,在检查完键的类型之后,还需要根据数据类型的不同编码进行多态处理。

因此,当处理一个特定类型命令的时候,执行的步骤如下:

  • 根据给定的 key 名称,在数据库字典中查找相对应的 Redis 对象,如果没有找到,返回 NULL
  • 检查 Redis 对象中的 type 属性和执行命令所需的类型是否相符,如果不相符,返回类型错误
  • 根据 Redis 对象中的 encoding 属性选择合适的操作函数来处理底层数据结构
  • 将操作函数的返回值作为命令请求的响应返回给客户端

对象共享

目前,为了解决重复分配的麻烦,Redis 会在初始化服务器时创建一万个字符串对象,这些对象包含了从 0 到 9999 的所有整数值,当服务器需要用到值为 0 到 9999 的字符串对象时,服务器就会使用这些共享对象,而不是创建新的对象。

尽管共享更复杂的对象可以节约更多的内存,但受到 CPU 时间的限制,Redis 只对包含整数值的字符串对象进行共享。

需要注意的是,共享对象只能被字典和双向链表这类能带有指针的数据结构使用。

内存回收

因为 C 语言并不具备自动内存回收功能,所以 Redis 在自己的对象系统中构建了一个引用计数技术实现内存回收机制。通过这个内存回收机制,Redis 可以通过对象的引用计数信息,在适当的时候自动释放对象并进行内存回收。

对象的引用计数信息通过 refcount 属性记录,其使用如下:

  • 当创建新对象时,引用计数的值会初始化为 1
  • 当这个对象被共享时,引用计数的值会自增
  • 当使用完一个对象后,或者消除对这个对象的引用之后,引用计数的值会自减
  • 当对象的引用计数值变为 0 时,对象所占用的内存会被释放

有关Redis - 对象结构的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后,我想到了这种方法,可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法,但它确实有效。有没有人有更好的建议,或者这是一个很好的方法?#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  3. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  4. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单,其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在?solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  5. Ruby 写入和读取对象到文件 - 2

    好的,所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象?所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是,我该如何再次将这个id变回一个对象?我知道我可以自己挑选信息并制作一个接受该信

  6. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  7. ruby-on-rails - 未在 Ruby 中初始化的对象 - 2

    我在Rails工作并有以下类(class):classPlayer当我运行时bundleexecrailsconsole然后尝试:a=Player.new("me",5.0,"UCLA")我回来了:=>#我不知道为什么Player对象不会在这里初始化。关于可能导致此问题的操作/解释的任何建议?谢谢,马里奥格 最佳答案 havenoideawhythePlayerobjectwouldn'tbeinitializedhere它没有初始化很简单,因为你还没有初始化它!您已经覆盖了ActiveRecord::Base初始化方法,但您没有调

  8. ruby - 如何在 Rails 4 中使用表单对象之前的验证回调? - 2

    我有一个服务模型/表及其注册表。在表单中,我几乎拥有服务的所有字段,但我想在验证服务对象之前自动设置其中一些值。示例:--服务Controller#创建Action:defcreate@service=Service.new@service_form=ServiceFormObject.new(@service)@service_form.validate(params[:service_form_object])and@service_form.saverespond_with(@service_form,location:admin_services_path)end在验证@ser

  9. ruby - 一个 YAML 对象可以引用另一个吗? - 2

    我想让一个yaml对象引用另一个,如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗? 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

  10. ruby - 更改 ActiveRecord 中对象的类 - 2

    假设我有一个FireNinja我的数据库中的对象,使用单表继承存储。后来才知道他真的是WaterNinja.将他更改为不同的子类的最干净的方法是什么?更好的是,我很想创建一个新的WaterNinja对象并替换旧的FireNinja在数据库中,保留ID。编辑我知道如何创建新的WaterNinja来self现有FireNinja的对象,我也知道我可以删除旧的并保存新的。我想做的是改变现有项目的类别。我是通过创建一个新对象并执行一些ActiveRecord魔法来替换行,还是通过对对象本身做一些疯狂的事情,或者甚至通过删除它并使用相同的ID重新插入来做到这一点,这是问题的一部分。

随机推荐