我在 Java 应用程序中使用 Redis,我正在读取日志文件,在 Redis 中为每个日志存储/检索一些信息。 key 是我的日志文件中的 IP 地址,这意味着它们始终是即将到来的新闻 key ,即使它们经常出现也是如此。
在某个时候,Redis 达到了它的最大内存大小(在我的例子中是 3gb),并开始驱逐一些键。我使用“allkeys-lru”设置,因为我想保留最年轻的 key 。
然后整个应用程序变慢了很多,花费的时间是开始时的5 倍。 所以我有三个问题:
编辑 1: 我们在 Redis 中使用 2 个数据库
编辑 2: 我们使用 redis 2.2.12 (ubuntu 12.04 LTS)。进一步的调查解释了这个问题:我们在 Redis 中使用了 db0 和 db1。 db1 的使用比 db0 少得多,而且 key 完全不同。当 Redis 达到最大内存(并且 LRU 算法开始逐出键)时,redis 会删除几乎所有 db1 键,这会大大减慢所有调用。这是一个奇怪的行为,可能不寻常并且可能与我们的应用程序有关。我们通过为在 db1 中加载的 key 移动到另一个(更好的)内存机制来解决这个问题。
谢谢!
最佳答案
我不相信 Redis 是您用例的最佳选择。
Redis“LRU”只是一种尽力而为算法(即与精确的 LRU 相去甚远)。 Redis 跟踪内存分配并知道何时必须释放一些内存。这是在执行每个命令之前检查的。在“allkeys-lru”模式下驱逐 key 的机制包括选择 maxmemory-samples 随 secret 钥,比较它们的空闲时间,然后选择最空闲的 key 。 Redis 重复这些操作,直到使用的内存低于 maxmemory。
maxmemory-samples 越高,CPU 消耗越多,但结果越准确。
如果您没有显式使用 EXPIRE 命令,则不会有与 key 回收相关的其他开销。
在我的机器上使用 Redis 基准测试运行快速测试的吞吐量为:
我无法重现您遇到的 5 倍因素。
减少逐出开销的明显建议是减少 maxmemory-samples,但这也意味着准确性会急剧下降。
我的建议是尝试使用 memcached。 LRU机制不同。它仍然不准确(它仅适用于每个平板),但它可能会在此用例上提供比 Redis 更好的结果。
关于caching - Redis 在填满和逐出键时有多慢? (LRU算法),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20523368/
我不知道为什么,但是当我设置这个设置时它无法编译设置:static_cache_control,[:public,:max_age=>300]这是我得到的syntaxerror,unexpectedtASSOC,expecting']'(SyntaxError)set:static_cache_control,[:public,:max_age=>300]^我只想将“过期”header设置为css、javaascript和图像文件。谢谢。 最佳答案 我猜您使用的是Ruby1.8.7。Sinatra文档中显示的语法似乎是在Ruby1.
目录一.加解密算法数字签名对称加密DES(DataEncryptionStandard)3DES(TripleDES)AES(AdvancedEncryptionStandard)RSA加密法DSA(DigitalSignatureAlgorithm)ECC(EllipticCurvesCryptography)非对称加密签名与加密过程非对称加密的应用对称加密与非对称加密的结合二.数字证书图解一.加解密算法加密简单而言就是通过一种算法将明文信息转换成密文信息,信息的的接收方能够通过密钥对密文信息进行解密获得明文信息的过程。根据加解密的密钥是否相同,算法可以分为对称加密、非对称加密、对称加密和非
有什么方法可以告诉Rails3在给定的Controller中缓存所有页面,而不必在调用caches_page时列出所有页面?我尝试了caches_page:all,但它不起作用。 最佳答案 有点像实现的错误,但我刚刚尝试过它并且它适用于Rails3.0.6:caches_page:except=>[] 关于ruby-caches_page:all,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/que
我正在尝试升级到Rails4beta1,但遇到了一些问题。简而言之,这就是我的应用程序Controller的样子。classApplicationControllercaches_action在Rails4中移到了它自己的gem中,因此包含gem应该可以解决问题。gem"actionpack-action_caching",github:"rails/actionpack-action_caching"但是当我运行我的请求规范或在浏览器中访问该应用程序时,我收到此错误。app/controllers/application_controller.rb:3:in`':undefinedm
1.问题描述使用Python的turtle(海龟绘图)模块提供的函数绘制直线。2.问题分析一幅复杂的图形通常都可以由点、直线、三角形、矩形、平行四边形、圆、椭圆和圆弧等基本图形组成。其中的三角形、矩形、平行四边形又可以由直线组成,而直线又是由两个点确定的。我们使用Python的turtle模块所提供的函数来绘制直线。在使用之前我们先介绍一下turtle模块的相关知识点。turtle模块提供面向对象和面向过程两种形式的海龟绘图基本组件。面向对象的接口类如下:1)TurtleScreen类:定义图形窗口作为绘图海龟的运动场。它的构造器需要一个tkinter.Canvas或ScrolledCanva
我一直在尝试用Ruby实现Luhn算法。我一直在执行以下步骤:该公式根据其包含的校验位验证数字,该校验位通常附加到部分帐号以生成完整帐号。此帐号必须通过以下测试:从最右边的校验位开始向左移动,每第二个数字的值加倍。将乘积的数字(例如,10=1+0=1、14=1+4=5)与原始数字的未加倍数字相加。如果总模10等于0(如果总和以零结尾),则根据Luhn公式该数字有效;否则无效。http://en.wikipedia.org/wiki/Luhn_algorithm这是我想出的:defvalidCreditCard(cardNumber)sum=0nums=cardNumber.to_s.s
下面是我写的一个计算斐波那契数列中的值的方法:deffib(n)ifn==0return0endifn==1return1endifn>=2returnfib(n-1)+(fib(n-2))endend它工作到n=14,但在那之后我收到一条消息说程序响应时间太长(我正在使用repl.it)。有人知道为什么会这样吗? 最佳答案 Naivefibonacci进行了大量的重复计算-在fib(14)fib(4)中计算了很多次。您可以将内存添加到您的算法中以使其更快:deffib(n,memo={})ifn==0||n==1returnnen
在rails开发环境中,cache_classes是关闭的,所以你可以修改app/下的代码,不用重启服务器就可以看到变化。不过,在所有环境中,中间件只会创建一次。所以如果我有这样的中间件:classMyMiddlewaredefinitialize(app)@app=appenddefcall(env)env['model']=MyModel.firstendend我在config/environments/development.rb中执行此操作:config.cache_classes=false#thedefaultfordevelopmentconfig.middleware.
为了防止在迁移到生产站点期间出现数据库事务错误,我们遵循了https://github.com/LendingHome/zero_downtime_migrations中列出的建议。(具体由https://robots.thoughtbot.com/how-to-create-postgres-indexes-concurrently-in概述),但在特别大的表上创建索引期间,即使是索引创建的“并发”方法也会锁定表并导致该表上的任何ActiveRecord创建或更新导致各自的事务失败有PG::InFailedSqlTransaction异常。下面是我们运行Rails4.2(使用Acti
我正在开发一个类似微论坛的项目,其中一个特殊用户发布一条快速(接近推文大小)的主题消息,订阅者可以用他们自己的类似大小的消息来响应。直截了当,没有任何形式的“挖掘”或投票,只是每个主题消息的响应按时间顺序排列。但预计会有很高的流量。我们想根据它们引起的响应嗡嗡声来标记主题消息,使用0到10的等级。在谷歌上搜索了一段时间的趋势算法和开源社区应用示例,到目前为止已经收集到两个有趣的引用资料,但我还没有完全理解它们:Understandingalgorithmsformeasuringtrends,关于使用基线趋势算法比较维基百科页面浏览量的讨论,在SO上。TheBritneySpearsP