草庐IT

这一次，吃了Redis的亏，也败给了GPT

scwMason 2023-04-09 原文

关注【离心计划】，一起离开地球表面

 

背景

组内有一个系统中有一个延迟任务的需求，关于延迟任务常见的做法有时间轮、延迟MQ还有Redis Zset等方案，关于时间轮，这边小苏有一个大学时候做的demo：

https://github.com/JAYqq/GoDelayTasks

该系统采用的是zset的方案，在系统稳定运行了三年多后，这周出现了一个大面积故障，背后的原因居然是zscan的问题，我们今天就简单复盘一下这次的故障，好好盘一盘zset。

 

zset实现延时任务队列

关于zset的底层数据结构和基本操作，在之前的文章就已经阐述过了，简单来说就是底层由ziplist组织，超过一定阈值（默认128）就改为由skiplist：

【专栏】基础篇03| Redis 花样的数据结构

最常见的延迟任务就是下单，某宝中我们下单未支付后，会倒计时一段时间，到点后订单自动释放；还有完成订单后，超过一定时间就会自动签收。这些都是延迟任务，在zset中，我们将业务类型作为key、订单ID作为member、下单时间+延迟时间作为score，这样的一个zset结构，我们配合zrangeByScore(0,currentTime)，就能获取到当前时间应该过期的任务了，简单操作如下：

127.0.0.1:6379> zadd order 100 111
(integer) 1
127.0.0.1:6379> zadd order 120 112
(integer) 1
127.0.0.1:6379> zadd order 140 113
(integer) 1
127.0.0.1:6379> zadd order 170 114
(integer) 1
127.0.0.1:6379> zrangebyscore order 0 130
1) "111"
2) "112"

zrangeByScore在异步线程定时执行就行了，这是延时任务的主动释放。而在组内应用的系统中，还有一个监听消息的机制，当接收到消息后需要取出sessionId，将zset中对应的session元素删除，这边就需要扫描zset所有元素，便用到了zscan命令。

zscan

zscan是一个增量命令，它在官网的定义如下：

所谓增量就是不会一次全部，而是返回一定数量的元素，也就是上面指定的count，然后返回cursor表示扫描到的位置，只要这个cursor不为0就表示扫描没有结束，这就是增量命令最重要的表现形式。

然而，这是我们对增量的理解，但是zset狗在对于元素数量比较少的时候，也就是底层以ziplist组织的时候，会忽视count，一次返回所有元素；而当以skiplist组织的时候，才会返回count个，如果没有传count，默认10个。这也是此次组内系统故障的根因，同事在用zscan的时候并没有传count，但是元素数量超过了128个，导致只扫描了10个后就停止了，代码也没有继续从返回的cursor扫描，导致了zset中存在大量的元素未被删除，被延迟任务队列监控线程通过zrangeByScore扫描到，错误地认为这些元素超时而返回了错误的系统信息。

从源码上看，也可以看出一些端倪

这边看确实默认值是10，但是直到我看到：

当是skiplist的时候，count会默认变成两倍，但是在我的电脑上并没有这个现象，可能是版本差异，但是我找了之前的release描述，没有找到相关的信息，这个问题因为我太饿了就查不下去了（其实是懒

），有读者知道的可以后台私信，感谢~

zset-max-ziplist-entries 3
127.0.0.1:6379> object encoding order
"ziplist"
127.0.0.1:6379> zscan order 0 match "order*" count 5
1) "0"
2)  1) "order-111"
    2) "100"
    3) "order-112"
    4) "110"
    5) "order-113"
    6) "120"
    7) "order-114"
    8) "130"
    9) "order-115"
   10) "140"
   11) "order-116"
   12) "150"
   13) "order-118"
   14) "170"
   15) "order-119"
   16) "180"
   17) "order-120"
   18) "190"
   19) "order-121"
   20) "200"
   21) "order-122"
   22) "210"
   23) "order-123"
   24) "220"
127.0.0.1:6379> zadd order 230 order-124
(integer) 1
127.0.0.1:6379> object encoding order
"skiplist"
127.0.0.1:6379> zscan order 0
1) "5"
2)  1) "order-123"
    2) "220"
    3) "order-116"
    4) "150"
    5) "order-118"
    6) "170"
    7) "order-124"
    8) "230"
    9) "order-121"
   10) "200"
   11) "order-114"
   12) "130"
   13) "order-120"
   14) "190"
   15) "order-115"
   16) "140"
   17) "order-111"
   18) "100"
   19) "order-122"
   20) "210"

发现确实只返回了10个，并且cursor是5，表示并没有结束，至此我们复现了系统的问题，现象也是一致的。

解决方案

方案一：传一个很大的count

方案二：zrange扫描全部，代码内做筛选

方案三：循环zscan，直到cursor为0

业务方案：zrangeByScore扫描到后继续保底

复盘

故障从监控预警到定位问题时间较长，原因在于开发人员并没有直接定位到zscan的问题，并且这部分命令是作为lua脚本执行，调试困难。

流程上看，这种问题无法通过单测发现，确实需要开发人员本身对所用技术的深刻了解，任何流程规则只能降低问题发生概率。

最后，gpt给出的答案确实是生产方案

周末快乐，分享一句最近看到的诗

“欲买桂花同载酒，终不似，少年游”

败给Redisampxff0cgt

有关这一次，吃了Redis的亏，也败给了GPT的更多相关文章

  1. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  2. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  3. ruby-on-rails - Rake 任务仅调用一次时执行两次 - 2

    我写了一个非常简单的rake任务来尝试找到这个问题的根源。namespace:foodotaskbar::environmentdoputs'RUNNING'endend当在控制台中执行rakefoo:bar时，输出为:RUNNINGRUNNING当我执行任何rake任务时会发生这种情况。有没有人遇到过这样的事情？编辑上面的rake任务就是写在那个.rake文件中的所有内容。这是当前正在使用的Rakefile。requireFile.expand_path('../config/application',__FILE__)OurApp::Application.load_tasks这里

  4. ruby - 我怎样才能只写一次 "Text"并同时检查 path_info 是否包含 'A' ？ - 2

    -if!request.path_info.include?'A'%{:id=>'A'}"Text"-else"Text"“文本”写了两次。我怎样才能只写一次并同时检查path_info是否包含“A”？ 最佳答案 有两种方法可以做到这一点。使用部分，或使用content_forblock:如果“文本”较长，或者是一个重要的子树，您可以将其提取到一个部分。这会使您的代码变干一点。在给出的示例中，这似乎有点矫枉过正。在这种情况下更好的方法是使用content_forblock，如下所示:-if!request.path_info.inc

  5. ruby-on-rails - 使用 Ruby 正确处理 Stripe 错误和异常以实现一次性收费 - 2

    我查看了Stripedocumentationonerrors，但我仍然无法正确处理/重定向这些错误。基本上无论发生什么，我都希望他们返回到edit操作(通过edit_profile_path)并向他们显示一条消息(无论成功与否)。我在edit操作上有一个表单，它可以POST到update操作。使用有效的信用卡可以正常工作(费用在Stripe仪表板中)。我正在使用Stripe.js。classExtrasController5000,#amountincents:currency=>"usd",:card=>token,:description=>current_user.email)

  6. ruby - 如何在 Ruby 中只执行一次方法？有静态变量吗？ - 2

    我写了一个脚本，其中包含一些方法定义，没有类和一些公共(public)代码。其中一些方法执行一些非常耗时的shell程序。然而，这些shell程序只需要在第一次调用该方法时执行。现在在C中，我会在每个方法中声明一个静态变量，以确保这些程序只执行一次。我怎么能在Ruby中做到这一点？ 最佳答案 ruby中有一个成语:x||=y。defsomething@something||=calculate_somethingendprivatedefcalculate_something#somelongprocessend但是如果您的“长时间

  7. ruby - 格式化数字以每隔三位数拆分一次 - 2

    我想在格式化数字时每隔三个字符放置一个空格。根据这个规范:it"shouldformatanamount"dospaces_on(1202003).should=="1202003"end我想出了这段代码来完成这项工作defspaces_onamountthousands=amount/1000remainder=amount%1000ifthousands==0"#{remainder}"elsezero_padded_remainder='%03.f'%remainder"#{spaces_onthousands}#{zero_padded_remainder}"endend所以我

  8. ruby-on-rails - 你如何编写一个只为测试文件执行一次的设置方法？ - 2

    我希望有一种方法可以针对每个文件运行一次，而不是针对每个测试运行一次。我已经看到一些对“之前”方法的引用，但似乎不适用于MiniTest。理想情况下，像这样:classMyTest 最佳答案 Before用于minitest使用specdsl时，相当于setup。您可以使用setup，如果您在test_helper.rb文件中使用setup，它将在所有测试之前执行一次。设置也可以在测试类中声明。使用设置，放置一个标志并在第一次更新标志。x=0setupdoifx==0x=x+1puts"Incrementedinx=#{x}"end

  9. ruby - 如何让 Ruby 每 10 分钟运行一次任务？ - 2

    我想每10分钟执行一次cron作业，但我的系统只执行1小时。所以我正在寻找一种方法来做到这一点。我看过Timer和sleep但我不确定如何执行此操作，甚至不知道如何实现此操作。 最佳答案 看看http://rufus.rubyforge.org/rufus-scheduler/rufus-scheduler是一个用于调度代码片段(作业)的Rubygem。它了解在特定时间、在特定时间、每x次或仅通过CRON语句运行作业。rufus-scheduler不能替代cron/at，因为它在Ruby内部运行。

  10. ruby-on-rails - ByeBug 调试器只工作一次 [Rails 4] - 2

    我遇到的问题是byebug类在第一个之后被忽略了。这很奇怪。我启动服务器。每当有byebug语句时，如果它是服务器启动后的第一个语句，它就会起作用。如果没有，它会显示此消息:***Byebug已经启动。忽略byebugcall.并且调试器工作的唯一方法是重新启动服务器(它只会工作一次)。非常感谢任何帮助。顺便说一句，每个项目都会发生这种情况。谢谢。 最佳答案 这是reportedandfixed，但尚未发布。现在要解决这个问题，请使用以下内容更新Gemfile:gem'byebug',github:'deivid-rodriguez

随机推荐