UI界面测试,更接近用户侧,用户怎么操作界面,就模拟怎么操作界面并走通业务闭环;数据接口测试,更接近客户端开发工程师,客户端开发工程师怎么调用数据接口,就模拟怎么调用数据接口并考虑边界值、性能;服务端测试,更接近服务端开发工程师,服务端工程师怎么调用方法、函数,就模拟怎么调用方法函数同样考虑边界值、性能和多种调用的组合。
和前面几种测试不同,技术大领导做的三个基础软件之一(另外两个基础软件是操作系统和编译器)的数据库核心引擎开发。界面测试看不到界面实现、接口测试看不到服务端实现、服务端测试看不到框架实现,始终存在黑盒。基础软件也会用到第三方库,但绝大多数模块都是从零到一实现出来,具有巨大的创造性,同时,对于创造者来说,也就拥有了更多的确定性。
创造者对测试者的要求,最重要的还是精准二字,因为绝大多数模块都是可见的,因此遇到问题时,理论上相比其他几种测试更能直接的找着原因,也就要求更精准的复现。cpu、内存、硬盘、系统、软件依赖、数据集都得一致。
最近我就犯了这块的错误。在申请资源时,申请的是之前的同等配置(6台16核64g内存的云服务器),结果给了高出了太多的配置(8台64核256g内存的配置),当时觉得无所谓,想着大点总比小的好吧,还挺高兴的。就咱们软件现在这个阶段来说,还在发现问题的阶段,比起更高的配置还是保持环境一致更重要得多。因为现在的目标还是发现bug,并解决。
我测单机、测两节点集群、测三节点集群、测旧版本单机、测旧版本两节点集群、测旧版本三节点集群,本来变量就很多:单机 or 集群、两节点 or 三节点。由于环境不一致,我引入了第三个变量:16核64g or 64核256g。原来是2x2=4,现在变成了3x3=9。
“我们不能人为引进新的不确定因素,这是产品研发中最忌讳的。”
...
“也是先单机后集群”
“这个就是为啥我强调环境不能变”
“而且逐步测试”
“不能上来就搞个大集群测1000g的数据”
“你把低配置的集群跟高配置的单机比,那咱们怎么知道变化?”
其实保持环境一致,是一个很好理解的问题。应该也不难实施下去,我这次的问题是怎么造成的呢?作为员工,虽然资源时申请的,但为公司考虑,这些资源并不是免费的,已经分配了资源,而且比原来的资源要多,不怎么好重新要求再分配新的资源。当然了,技术大领导不需要考虑这种琐事——花多少钱。确实是自己格局没到哈,记得我们另一个领导让我买资源时(一块2T的ssd硬盘要六七千、配满一台服务器需要4块;),千叮咛万嘱咐,别搞便宜的,要买最好的,哈哈哈。这就是领导,大局为重,这些都是小钱。
所以呢,经过最近几周的折腾,得到的结论就是:办大事,要站在更高的角度考虑问题,去把格局打开。
【附加】基础软件的项目拿下来,7位数的款,很正常。
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当
我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。
我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere
Sinatra新手;我正在运行一些rspec测试,但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音?我仔细检查了环境是否设置为:test,这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/
我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test
我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r
我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel
只是想确保我理解了事情。据我目前收集到的信息,Cucumber只是一个“包装器”,或者是一种通过将事物分类为功能和步骤来组织测试的好方法,其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗? 最佳答案 有点。它是一种组织测试的方式,但不仅如此。它的行为就像最初的Rails集成测试一样,但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意,您可以使用步骤来构建对象和设置状态,但通常您
我有:When/^(?:|I)follow"([^"]*)"(?:within"([^"]*)")?$/do|link,selector|with_scope(selector)doclick_link(link)endend我打电话的地方:Background:GivenIamanexistingadminuserWhenIfollow"CLIENTS"我的HTML是这样的:CLIENTS我一直收到这个错误:.F-.F--U-----U(::)failedsteps(::)nolinkwithtitle,idortext'CLIENTS'found(Capybara::Element