作者：刘须华
一、背景概述： R2M 缓存的使用，极大的提升了应用程序的性能和效率，特别是数据查询方面。而缓存最常见的问题是缓存穿透、击穿和雪崩，在高并发下这三种情况都会有大量请求落到数据库，导致数据库资源占满，引起数据库故障。平时对缓存测试时除了关注增删修改查询等基本功能，应该要重点关注缓存穿透、击穿和雪崩三种异常场景的测试覆盖，避免出现线上事故。
二、基本概念说明：
1、缓存击穿：是指在超级热点数据突然过期，导致针对超级热点的数据请求在过期期间直接打到数据库，这样数据库服务器会因为某一超热数据导致压力过大而崩掉。
2、缓存穿透：是指查找的数据在缓存和数据库中都不存在，导致每一次请求数据从缓存中都获取不到，而将请求打到数据库服务器，但数据库中也没有对应的数据，最后每一次请求都到数据库；如果在高并发场景或有人恶意攻击，就会导致后台数据库服务器压力增大，最终系统可能崩掉。
3、缓存雪崩：是指突然缓存层不可用，导致大量请求直接打到数据库，最终由于数据库压力过大可能导致系统崩掉。缓存层不可用指以下两方面：缓存服务器宕机，系统将请求打到数据库； 缓存数据突然大范围集中过期失效，导致大量请求打到数据库重新加载数据，与缓存击穿的区别在于这里针对很多 key 缓存，前者则是某一个 key。
三、测试工具 (非必须)：
1、使用 Titan 压测平台进行并发请求测试
2、使用 jmeter 工具模拟并发请求
四、测试方法举例说明 (非必须)：
环境：测试环境
工具：jmeter
（1）缓存穿透场景
测试方法：查询一个根本不存在的数据，缓存层和存储层都不会命中。
查询接口相关代码实现：
通过 JMETER 模拟多次重复调用：单线程重复调用
查看日志结果：从日志可以看出：执行并发请求后， 所有请求每次都走向了数据库。
预防方案：
当数据库查询为空时，将缓存赋值默认值，后续查询都走缓存，减少数据库压力。
上述接口，增加赋值为 empty，则第一次查询到数据库为空，后续查询都查询到缓存中，缓存值为 empty。
再次执行并发测试：从日志可以看出，可以看出每个 ID 都只执行了一次数据库查询并设置缓存，之后请求都命中了缓存，有效防止了缓存穿透问题。
（2）缓存击穿场景
测试方法：对某个 Key 有大量的并发请求，这时从缓存中删除这个 key。模拟热 key 过期失效的场景。这个时候大并发的请求可能会瞬间把后端 DB 压垮。
接口相关部分代码实现：
操作步骤：
1、查询 pin 为 liuxuhua 的请求，这时 pin 为 liuxuhua 的数据会加载到缓存
2、再次查询 pin 为 liuxuhua 的请求，命中缓存
3、50 并发请求 pin 为 liuxuhua 的数据，这个时候请求全部命中缓存
4、将 pin 为 liuxuhua 的缓存手动删除，模拟缓存失效
5、50 并发请求 pin 为 liuxuhua 的数据，这个时候大量请求走向数据库，pin 为 liuxuhua 的缓存被击穿
查看日志结果:
预防方案：
在设置默认缓存值的基础上，进行加锁处理。只有拿到锁的第一个线程去请求数据库，然后插入缓存，当然每次拿到锁的时候都要去查询一下缓存有没有。
从日志记录可以看到只有一个请求执行了数据库查询并设置缓存，其他请求都命中了缓存， 有效防止了缓存的击穿。
（3）缓存雪崩
测试方法：对多个使用到缓存的接口进行并发调用，设置这些缓存时间已过期（即删除缓存），调用时这些接口查询缓存时无数据，去查询数据库，这些请求都指向数据库，数据库压力增大，耗时增加。
模拟接口：
通过 JMETER 模拟多次重复调用：单线程多接口重复调用
查看日志结果：可以看出大量请求到达数据库，并且同一个 pin 或 id 执行了多次数据库查询
预防方案：
增加限流操作，即接口频繁调用时，增加一个缓存，设置时间为 3s，3s 内处理一定次数的请求，超过限制次数的请求直接返回结果，不做处理。
接口：3s 内处理 6 次请求，超过则不处理；
从日志可以看出：可以看到每个都只查询了一次数据库并设置缓存，之后的请求都命中了缓存
五、测试指标：(或者叫通过标准，包括关注点以及意义)
1、模拟缓存穿透场景测试，每个不存在的数据都只执行了一次数据库查询并设置缓存，之后请求都命中了缓存，有效防止了缓存穿透问题。
2、模拟缓存雪崩场景测试，每个缓存失效的数据都只执行了一次数据库查询并设置缓存，之后请求都命中了缓存。
3、模拟缓存击穿场景测试，缓存失效的那个数据只有一个请求执行了数据库查询并设置缓存，其他请求都命中了缓存。
六、适用业务场景：
1、秒杀活动
2、热门营销活动
3、618 和双 11 大促
七、研发侧常见解决方案（参考）：
1、缓存穿透解决方案：
1、缓存空值 之所以发生穿透，是因为缓存中没有存储这些数据的 key，从而每次都查询数据库 我们可以为这些 key 在缓存中设置对应的值为 null，后面查询这个 key 的时候就不用查询数据库了 当然为了健壮性，我们要对这些 key 设置过期时间，以防止真的有数据
2、BloomFilter BloomFilter 类似于一个 hbase set 用来判断某个元素（key）是否存在于某个集合中 我们把有数据的 key 都放到 BloomFilter 中，每次查询的时候都先去 BloomFilter 判断，如果没有就直接返回 null 注意 BloomFilter 没有删除操作，对于删除的 key，查询就会经过 BloomFilter 然后查询缓存再查询数据库，所以 BloomFilter 可以结合缓存空值用，对于删除的 key，可以在缓存中缓存 null 缓存击穿
2、缓存击穿解决方案：
采用分布式锁，只有拿到锁的第一个线程去请求数据库，然后插入缓存，当然每次拿到锁的时候都要去查询一下缓存有没有
3、缓存雪崩解决方案：
1、采用集群，降低服务宕机的概率
2、ehcache 本地缓存 + 限流 & 降级
3、均匀过期，通常可以为有效期增加随机值
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当
我有一个围绕一些对象的包装类，我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。
我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere
这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间，其中100是最大分数。计算平均分并将字母等级作为字符串返回，即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join，
Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/
我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test
我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时，测试会在当前主机停止。即使测试失败，我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r
我在app/helpers/sessions_helper.rb中有一个帮助程序文件，其中包含一个方法my_preference，它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如，这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中，我读到这可以通过在测试文件中包含requiresessions_helper来实现，但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么？require'test_helper'require'sessions_hel
