草庐IT

database - redis内存效率

coder 2023-07-17 原文

我想在 Redis 上的 MySQL 中加载 4 列和 80 百万行的数据，以便减少提取延迟。

但是，当我尝试加载所有数据时，它变得大了 5 倍。

原始数据是 3gb(当导出为 csv 格式时)，但是当我将它们加载到 Redis 上时，它需要 15GB...这对我们的系统来说太大了。

我也尝试了不同的数据类型 -

1) 'table_name:row_number:column_name' -> 字符串 2) 'table_name:row_number' -> 散列

但他们都太过分了。

我错过了什么吗？

已添加)

我的数据有 4 列 - (用户 ID(pk)、计数、创建时间和日期)

最佳答案

内存效率最高的方法是将值存储为 json 数组，然后拆分您的键，以便您可以使用 ziplist 编码的哈希存储它们。

  1. 使用 json 数组对您的数据进行编码，因此您拥有像 user:1234567 -> [21,'25-05-2012','14-06-2010'] 这样的键=值对。
  2. 将您的 key 分成两部分，这样第二部分就有大约 100 种可能性。例如user:12345和67
  3. 将这个组合 key 存储在像这样的 hset user:12345 67 <json> 的散列中
  4. 要检索用户 ID 9876523 的用户详细信息，只需执行 hget user:98765 23 并解析 json 数组
  5. 确保调整设置 hash-max-ziplist-entries and hash-max-ziplist-value

Instagram wrote a great blog post explaining this technique ，所以我将跳过解释为什么这是内存高效的。

相反，我可以告诉您这种技术的缺点。

  1. 您不能访问或更新用户的单个属性；你必须重写整个记录。
  2. 即使您只关心某些字段，也必须始终获取整个 json 对象。
  3. 最后，您必须在拆分键上编写此逻辑，这是额外的维护。

一如既往，这是一个权衡。确定您的访问模式并查看这样的结构是否有意义。否则，您将不得不购买更多内存。

关于database - redis内存效率，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10735464/

databaseredissectioncodelimemory

有关database - redis内存效率的更多相关文章

  1. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  2. ruby-on-rails - Ruby 中的内存模型 - 2

    ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序

  3. 键删除后 ruby​​ 哈希内存泄漏 - 2

    你好，我无法成功如何在散列中删除key后释放内存。当我从哈希中删除键时，内存不会释放，也不会在手动调用GC.start后释放。当从Hash中删除键并且这些对象在某处泄漏时，这是预期的行为还是GC不释放内存？如何在Ruby中删除Hash中的键并在内存中取消分配它？例子:irb(main):001:0>`ps-orss=-p#{Process.pid}`.to_i=>4748irb(main):002:0>a={}=>{}irb(main):003:0>1000000.times{|i|a[i]="test#{i}"}=>1000000irb(main):004:0>`ps-orss=-p

  4. ruby-on-rails - Ruby .each 效率 - 2

    我这样做(在我看来):#myUserisaUserinActiveRecordwith:has_many:postsmyUser.posts.eachdo|post|end如果用户有10个帖子，这会调用10次数据库吗？这些循环应该像(不那么漂亮)吗？:myPosts=myUser.postsmyPosts.eachdo|post|endHere是我测试的ruby​​文件的粘贴箱。编辑修改了粘贴箱。这让我想起了Java中的代码for(inti=0;i应该是(除非数组被修改)for(inti=0,len=someExpensiveFunction();i我错过了什么吗？我看到一堆Rails

  5. ruby-on-rails - HTTParty 的内存问题和下载大文件 - 2

    这会导致Ruby出现内存问题吗？我知道如果大小超过10KB，Open-URI会写入TempFile。但是HTTParty会在写入TempFile之前尝试将整个PDF保存到内存吗？src=Tempfile.new("file.pdf")src.binmodesrc.writeHTTParty.get("large_file.pdf").parsed_response 最佳答案 您可以使用Net::HTTP。参见thedocumentation(特别是标题为“流媒体响应机构”的部分)。这是文档中的示例:uri=URI('http://e

  6. ruby catch 和效率 - 2

    catch在Ruby中是为了跳出深度嵌套的代码。在Java中，例如Java用于处理异常的try-catch可以实现同样的效果，但它被认为是糟糕的解决方案，而且效率也很低。在用于处理异常的Ruby中，我们有begin-raise-rescue，我认为将它用于其他任务也很昂贵。Ruby的catch-throw真的是比begin-raise-rescue更有效的解决方案吗？或者还有其他原因可以使用它来打破嵌套block而不是begin-raise-rescue? 最佳答案 除了是摆脱控制结构的“正确”方式之外，catch-throw也明显

  7. ruby-on-rails - 内存中具有相同 ID 的更多对象？ - 2

    在部署在heroku上的Rails应用程序(v:3.1)中，我在内存中获得了更多具有相同ID的对象。我的heroku控制台日志:>>Project.find_all_by_id(92).size=>2>>ActiveRecord::Base.connection.execute('select*fromprojectswhereid=92').to_a.size=>1这怎么可能？可能是什么问题？ 最佳答案 解决方案根据您的SQL查询，您的数据库中显然没有重复条目。也许您的类项目中的size或length方法已被覆盖。我试过find_

  8. ruby - rails 3.0.7 内存泄漏 - 2

    我的两个不同的Rails应用程序的内存有一些奇怪的问题。这两个应用程序都使用rails3.0.7。每个Controller请求分配20-30-50MB的内存。在生产模式下，这个数量减少到5-10。但这是同样的事情。这是两个应用程序使用的gem列表:gem'pg'gem'haml'gem'sass'gem'devise'gem'simple_form'gem'state_machine'gem"globalize3","0.1.0.beta"gem"easy_globalize3_accessors"gem'paperclip'gem'andand'关闭所有这些gem不会给我任何结果。我

  9. ruby - 如何强制 Ruby 释放内存给操作系统 - 2

    正如标题，我有一个处理大量数据的ruby​​程序。该程序占用了所有内存，其中调用了系统命令hostname，并且发生错误无法分配内存-主机名我试过GC.start但它不起作用。那么如何强制ruby释放未使用的内存呢？OK，这是别人的测试代码，最后报错是big_var被回收了。但是内存仍然没有释放。require"weakref"defreportputs"#{param}:\t\tMemory"+`psax-opid,rss|grep-E"^[[:space:]]*#{$$}"`.strip.split.map(&:to_i)[1].to_s+'KB'endbig_var=""#big

  10. ruby-on-rails - Rails add_index 算法 : :concurrently still causes database lock up during migration - 2

    为了防止在迁移到生产站点期间出现数据库事务错误，我们遵循了https://github.com/LendingHome/zero_downtime_migrations中列出的建议。(具体由https://robots.thoughtbot.com/how-to-create-postgres-indexes-concurrently-in概述)，但在特别大的表上创建索引期间，即使是索引创建的“并发”方法也会锁定表并导致该表上的任何ActiveRecord创建或更新导致各自的事务失败有PG::InFailedSqlTransaction异常。下面是我们运行Rails4.2(使用Acti

随机推荐