草庐IT

redis - 如何在 3.0.7 上迁移 redis 集群中的巨大 key ?

coder 2023-07-18 原文

在redis 3.0.7版本上使用cluster出现问题,
在我们的集群中,存在着许多巨大的键,一些键的条目数已经达到了500M字节,甚至达到了数百万。
现在我们想使用migrate命令对集群进行横向扩展,但是这个命令是同步的,可能会导致源节点和目的节点阻塞。

是否有任何优雅的方式来迁移这些 key ?

最佳答案

根据我的实验,随着 key 长度的增加,响应时间 (RT) 增长迅速。

在这个实验中,我的目的是观察响应时间 (RT) 如何根据 key 长度而变化。我创建了一个 JavaScript 脚本来读取所有 key 并计算 RT。出于实验目的,我在节点中加载了 1000、5000 和 10000 个键。结果如下图所示。

我观察到 RT 增长迅速, key 长度增加。详细而言,对于具有 10000 个 key 且 key 大小为 10 的节点,RT 为 91.7 ms,而对于相同的节点和 key 长度为 24000,RT 为 1014.3 ms。此外,要检索一个大小为 10 的单个 key ,RT 为 0.0127,要检索一个大小为 24000 的单个 key ,RT 为 0,102。

因此,当批量加载和复制不可用时,您可以尝试使用 MIGRATE 一次迁移一个 key 。 MIGRATE 命令以原子方式将 key 从源数据库传输到目标数据库。但这是一个破坏性操作,除非传递了 COPY 选项(COPY -- 不要从本地实例中删除 key )。

从 Redis 3.0.6 开始,MIGRATE 支持一种新的批量迁移模式,该模式使用流水线在实例之间迁移多个键,而不会产生往返时间延迟和使用单个 MIGRATE 移动每个键时的其他开销打电话。

为了启用此表单,使用了 KEYS 选项,并将普通键参数设置为空字符串。实际的键名将在 KEYS 参数本身之后提供,如以下示例所示:

MIGRATE 192.168.1.34 6379 "" 0 5000 KEYS key1 key2 key3

因此,总而言之,除了上述方法之外,没有任何优雅的方法可以将 key 从源迁移到目标。

一种可能的解决方案是隔离一个或多个节点中的“大” key ,并设置一个关于 key 长度的阈值。如果 key 超过此阈值,则将 key 保留在当前节点中。如果没有,您可以在不同的节点或数据库中迁移。但是您必须进行一些实验,以便根据响应时间和可能的 SLA 设置此阈值并观察“大”的含义。

你也可以检查这个:https://fnordig.de/2014/03/11/redis-cluster-with-pre-existing-data/

关于redis - 如何在 3.0.7 上迁移 redis 集群中的巨大 key ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40416015/

有关redis - 如何在 3.0.7 上迁移 redis 集群中的巨大 key ?的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  4. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代

  5. ruby-on-rails - Ruby on Rails 迁移,将表更改为 MyISAM - 2

    如何正确创建Rails迁移,以便将表更改为MySQL中的MyISAM?目前是InnoDB。运行原始执行语句会更改表,但它不会更新db/schema.rb,因此当在测试环境中重新创建表时,它会返回到InnoDB并且我的全文搜索失败。我如何着手更改/添加迁移,以便将现有表修改为MyISAM并更新schema.rb,以便我的数据库和相应的测试数据库得到相应更新? 最佳答案 我没有找到执行此操作的好方法。您可以像有人建议的那样更改您的schema.rb,然后运行:rakedb:schema:load,但是,这将覆盖您的数据。我的做法是(假设

  6. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题

  7. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  8. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  9. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  10. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

随机推荐