草庐IT

Redis:用于大型 key 集的高效服务器集群

coder 2023-07-18 原文

我有一组非常大的键，200M 键，具有小值，<100 字节，要存储，我正在尝试使用="" redis。问题是我有="" 10="" 个="" redis="" 数据库来拆分="" key="" ，但目前我在一台服务器上有这="" 10="" 个="" redis="" 数据库。对于="" redis="" 数据库，我的意思是使用="">SELECT。
根据我的计算，我似乎要耗尽内存。我想我需要超过 4TB 的内存来处理这种情况!我有哪些选择？首先，我的计算基于 10000 个具有 100 字节值的键占用 220MB 的 RAM(这是我找到的一个表)。
所以简单地输入 (2*10^8/10^4) * 220MB = 4.4TB。

如果我的计算看起来正确，我有哪些选择？我在不同的帖子上读到 Redis VM 不再是一个选项。我可以使用 Redis 集群吗？这似乎仍然需要太多服务器才能实用。
我知道我可以切换到另一个数据库，但我希望这是最后的选择。

最佳答案

首先，不推荐使用共享数据库(即 SELECT 命令)，因为所有这些数据库基本上都由同一个 Redis 进程管理。最好有 10 个独立的 Redis 进程(即使在同一台服务器上)以避免争用(更多信息 here)。

接下来，有一些方法可以减少数据库的内存占用。例如，您可以执行客户端压缩(参见 here )或考虑其他优化，例如使用哈希保留多个值(如 here 所述)。

也就是说，Redis 服务器最终受主机提供的 RAM 数量的限制。达到该限制后，您需要对数据库进行分片并使用 Redis 集群。由于您已经在使用多个数据库，因此这不会构成很大的挑战，因为您的代码应该已经在一定程度上与之兼容。分片可以通过以下三种方法之一完成:客户端、代理或 Redis 集群。客户端分片可以在您的代码中或由您使用的 Redis 客户端实现(如果您使用的客户端库支持)。 Redis Cluster (v3)预计将在不久的将来发布，并且已经有了稳定的发布候选版本。至于基于代理的分片，有几种开源解决方案，包括 Twitter's twemproxy , Netflix's dynomite和 codis .可以找到有关分片和分区的其他信息 here .

免责声明:我在 Redis Labs 工作。最后，据我所知，只有一个 Redis 即服务提供商已经提供了对集群 Redis 的内置支持。 Redis 实验室的 Redis Cloud是一种完全托管的服务，可以无缝扩展到任何所需的容量。我们的集群同时支持“{}”主题标签标准和 RegEx 分片 - 有关更多信息，请参见 here .

关于Redis:用于大型 key 集的高效服务器集群，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27518639/

大型Redisnoreferrernoopener

有关Redis:用于大型 key 集的高效服务器集群的更多相关文章

  1. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  2. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  3. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  4. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  5. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  6. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  7. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  8. ruby-on-rails - 在 Rails 中调试生产服务器 - 2

    您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？ 最佳答案 我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除

  9. ruby - inverse_of 是否适用于 has_many？ - 2

    当我使用has_one时，它​​工作得很好，但在has_many上却不行。在这里您可以看到object_id不同，因为它运行了另一个SQL来再次获取它。ruby-1.9.2-p290:001>e=Employee.create(name:'rafael',active:false)ruby-1.9.2-p290:002>b=Badge.create(number:1,employee:e)ruby-1.9.2-p290:003>a=Address.create(street:"123MarketSt",city:"SanDiego",employee:e)ruby-1.9.2-p290

  10. ruby-on-rails - Ruby - 如何从 ruby​​ 上的 .pfx 文件中提取公钥、rsa 私钥和 CA key - 2

    我有一个.pfx格式的证书，我需要使用ruby​​提取公共(public)、私有(private)和CA证书。使用shell我可以这样做:#ExtractPublicKey(askforpassword)opensslpkcs12-infile.pfx-outfile_public.pem-clcerts-nokeys#ExtractCertificateAuthorityKey(askforpassword)opensslpkcs12-infile.pfx-outfile_ca.pem-cacerts-nokeys#ExtractPrivateKey(askforpassword)o

随机推荐