草庐IT

Google软件测试之道

PJZero 2024-06-16 原文

Google软件测试之道

质量和测试的关系

书中的观点是:

  • 质量不是被测试出来的,如果在最开始设计的时候就是错的,那它永远不会变成正确。

  • 质量不等于测试。当你把开发过 程和测试放到一起,就像在搅拌机里 混合搅拌那样,直到不能区分彼此的 时候,你就得到了质量。

我的看法:

  • 狭义的测试指的是今天国内普遍认为的,由专职的QA针对软件功能进行测试。

  • 广义的测试指的是从代码编写开始,每一次代码被执行的过程,这里包括单测,自动化测试,集成测试,端到端测试,产品走查,上线之后的用户使用等流程。

  • QA永远只能在有限的条件下执行部分代码,而且随着软件越来越庞大,端到端测试能模拟的情况也会更加苛刻,端到端测试能覆盖的情况会更少,能预防出问题的概率也就更有限。

  • 随着软件复杂度的提升,QA所能看到的往往只是冰山一角,不了解冰山下的原理而执行的端到端测试,是成本高且效率低的做法,很难有打蛇打七寸的效果。

  • 要想从根本上提升软件质量,深入到冰山里面,在理解软件到底在做什么的条件下进行测试才能提高质量。这大概就是google把大量的测试工作交给研发人员,而收到较好的产品质量的根本原因吧。

  • 在对产品上线速度有极致追求的情况下,人为的测试

角色

SWE(Software Engineer)

软件开发工程师,增加功能、提高性能

SET(Software Engineer in Test)

软件测试开发工程师,也是开发角色,重心在可测性测试和通用测试基础框架上。

  • 更关注质量提升和测试覆盖度的增加。

  • 写代码的目的是可以让SWE测试自己的功能。

  • SET针对各个模块的依赖提供了mock或fake的实现。

TE(Test Engineer)

测试工程师,承担着产品专家、质量顾问、风险分析师的角色。

  • 把用户放在第一位思考

  • 组织整体质量实践、分析解释测试运行结果,驱动测试执行,构建端到端的自动化测试

  • TE运行许多测试的同时,也负责和其他团队的TE、合同工编制的测试人员、以众包形式参与的测试者、内部尝鲜者、beta测试者以及早期用户进行合作交流,与各方讨论基本设计带来的风险、功能逻辑复杂性和错误避免的方法。

SWE负责功能的实现和这些独立功能的质量。SET让开发者可以很容易的编写测试代码, 从而达到独立功能模块的质量要求。TE则是专注于用户角度的测试,验证可执行的代码 与数据集成之后,是否可以满足最终用户的需求。

我的看法

  • 从Software Engineer In Test角色的设置看,google很重视自动化测试。其并不否认模块测试和端到端测试,但希望能把这些测试尽可能的自动化,以提升测试效率,尽可能的发现问题。

  • 需要注意的是,Software Engineer In Test不是写自动化测试,而是写自动化测试工具,测试还是SWE自己写,只有SWE最清楚自己的代码到底是怎么运行的。

  • TE有点像我们的QA,但又差别巨大

测试认证计划

测试认证是:如果一个团队完成了一系列的测试任务,这个团队会得到一个通过“认证”的标识。所有团队最初的级别都是 0。如果掌握了基本的优秀代码习惯,就达到级别1,然后继续通过水平考核,最终达到级别5,与外部的能力成熟度模型一样,例如CMM能力成熟度模型(译注:http://www.sei.cmu.edu/cmmi/start/faq/related-faq.cfm)

我的看法

具体的认证计划当然也很有意义,但更让我感兴趣的是,这么一个全公司范围内的制度,是如何一步步落地的。

从书中描述的认证计划创始人的访谈中,我们能窥探一二。首先这个制度不是一个从上到下强制执行的政策,也就是说,测试团队不是找到公司的CEO,CTO这类高级管理人员沟通,说我们有个好东西,推行下去吧。这样容易导致几个问题

  1. 高层很容易因为不了解下面的具体情况而误判,执行了一个不适合团队的政策。

  2. 执行团队很少有反馈的机会,毕竟这可是大老板排班决定的。

  3. 一个没有和具体情况结合,缺少反馈的制度,通常缺乏生命力。执行者可能是抱着完成任务的心态去执行,能希望这样的态度有什么好的结果呢?

反观书上落地的路径,这样一个制度就像是一个产品,我相信创始人可定得到了上层的授意,不然不太容易拉通公司多个部门的资源。(可能我想的也不对),创始人先找了一些种子用户——既具体指定团队,和他们充分沟通,不断调整获得反馈,在反对的声音中也在让产品使用用户需求,然后由种子用户扩散出去,逐渐形成全公司范围内的标准。

有关Google软件测试之道的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  3. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试? - 2

    我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  4. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  5. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手;我正在运行一些rspec测试,但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音?我仔细检查了环境是否设置为:test,这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  6. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  7. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  8. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用? - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel

  9. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能? - 2

    只是想确保我理解了事情。据我目前收集到的信息,Cucumber只是一个“包装器”,或者是一种通过将事物分类为功能和步骤来组织测试的好方法,其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗? 最佳答案 有点。它是一种组织测试的方式,但不仅如此。它的行为就像最初的Rails集成测试一样,但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意,您可以使用步骤来构建对象和设置状态,但通常您

  10. ruby-on-rails - 如何调试 cucumber 测试? - 2

    我有:When/^(?:|I)follow"([^"]*)"(?:within"([^"]*)")?$/do|link,selector|with_scope(selector)doclick_link(link)endend我打电话的地方:Background:GivenIamanexistingadminuserWhenIfollow"CLIENTS"我的HTML是这样的:CLIENTS我一直收到这个错误:.F-.F--U-----U(::)failedsteps(::)nolinkwithtitle,idortext'CLIENTS'found(Capybara::Element

随机推荐