一个bug的生命周期是从创建开始到关闭结束,而bug能否关闭就取决于回归测试的结果,测试人员可能很多都对bug灵敏度有较高要求,但是对于回归测试的把控或质量掌握的程度却比较模糊,而关于回归测试的范围,回归测试的开展正是本文讨论的重点。

一、Bug回归的重要性
回归测试是软件测试中不可忽视的一部分,回归测试是对问题修改后,重新进行测试并确认修改没有引入新错误,或者导致其他程序出现错误。作为软件生命周期的一部分,回归测试在整个软件测试过程中占据着相当大的分量,在敏捷测试的每个阶段都要进行多次回归测试。开发人员修改的局部问题时,可能已经处理了表面症状,所以主要测试其修改的页面和它的底层逻辑上;但是也可能存在未触及到根本原因,所以还需要测试交互模块。bug本身可能得到了修复,但修复也可能造成其他错误,所以有必要为每个修复的错误,设计回归测试。
二、关闭bug有哪些注意事项呢?
最重要的,要看bug的原因分析和解决方案是否正确,能否对应。在原因和解决方案都看懂了的情况下开始进行回归验证。该问题在发现时是百分百的出现概率,那么按照操作步骤验证改好之后可以直接关闭;该问题在发现时是int问题,那么最好要提高操作次数,回归20次(概率<5%回归30次,概率>5%回归20次),再视操作结果关闭bug。
有些开发解决bug的习惯比较好,会附上回归建议,此时再额外按照建议回归下即可。如果在条件允许的情况下,最好跟开发人员沟通交流,讨论bug的根因、修改方案及修改影响,结合开发人员的开发习惯,再结合测试人员自身的经验,梳理相关回归思路。这样基本就可以将bug一网打尽。
下面我们看两个bug回归的经典案例:


这个案例中,问题出现的原因是对该线索进行操作,签约状态的值传的不对,没有定义这个状态的值,导致线索状态没有变化。我们在回归时,除了验证原bug中操作的场景,还需要验证其他不同流程,保证线索的状态都是正确变化的,从而确认没有引入新的问题。比如:
线索由待跟进转换为跟进中,提交后状态显示正确
线索由跟进中转换为已签约,提交后状态显示正确
线索由已签约转换为已失效,提交后状态显示正确

而这个bug就相对比较简单,问题原因就是普通线索和商盟线索没有加商盟标志,导致和普通线索一样展示在了原来的区域,验证时除了按照原来步骤操作,还需要查看数据库中商盟的线索有这个值就代表改好了。
三、如何提交回归测试的效率
快速进行回归测试的最佳方法之一是使回归测试的简单场景转换成自动化用例。我们可以创建一系列回归测试脚本,并应在每次修改到这部分逻辑时对该脚本进行部分修改和审查,以确保其覆盖到修改的地方。然后在手工执行回归测试时,这部分自动化脚本就可以帮我们测试其他常用的基础功能,报证修改不会引入严重问题,自动化测试脚本应涵盖所有可能的基础场景的测试用例。自动化回归测试将大大降低系统测试阶段、维护升级等阶段的人力和时间成本。
除了上述的关于回归测试的采取的必要手段,回归测试也可以借鉴平常测试的一些方法,比如交换测试,邀请别的小伙伴站在用户角度对该模块进行验证,也可以发现一些测试者自己发现不了的隐蔽问题。
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当
我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。
我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere
Sinatra新手;我正在运行一些rspec测试,但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音?我仔细检查了环境是否设置为:test,这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/
我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test
我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r
我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel
只是想确保我理解了事情。据我目前收集到的信息,Cucumber只是一个“包装器”,或者是一种通过将事物分类为功能和步骤来组织测试的好方法,其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗? 最佳答案 有点。它是一种组织测试的方式,但不仅如此。它的行为就像最初的Rails集成测试一样,但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意,您可以使用步骤来构建对象和设置状态,但通常您
我有:When/^(?:|I)follow"([^"]*)"(?:within"([^"]*)")?$/do|link,selector|with_scope(selector)doclick_link(link)endend我打电话的地方:Background:GivenIamanexistingadminuserWhenIfollow"CLIENTS"我的HTML是这样的:CLIENTS我一直收到这个错误:.F-.F--U-----U(::)failedsteps(::)nolinkwithtitle,idortext'CLIENTS'found(Capybara::Element