草庐IT

系统重构类改造的测试总结

白面贼 2024-05-22 原文

目录

我经历过的一些重构

我理解的系统重构的关注点

过程中QA要做的事情


我经历过的一些重构

  • 三维建筑设计类PC桌面软件。

背景:使用了上古语言Delphi,共计300W行(包括底层3D引擎)代码,为了跟上新时代技术栈,需要整体切换到C++语言。集团内部提供了已验证的新版C++引擎,业务线需要将各自业务代码迁移至C++。

重构过程:

  1. 业务决策。从产品战略维度允许全力投入重构,接受至少1-2年无新产品迭代。
  2. 执行重构。按模块翻译代码,最终持续了2年+时间,投入开发团队30+人才完成。
  3. 任务估时。整体估时采用单纯的代码行数来评估工作量,比如模块A有50W行代码,需要多久,模块B有**行代码,需要多久。拍脑袋决定的。
  4. 技术评估。由于底层核心技术集团以提供,业务团队主要任务是翻译业务逻辑(Delphi -> C++)。

过程中的问题:1、任务估时逻辑不对,太过乐观。2、团队开发人员C++经验较少。3、按单个模块顺序重构,测试介入时间太晚,不可测性太高。4、历史功能逻辑梳理不够,开发中有很多漏需求的情况。

  • 单体应用的微服务架构改造

背景:一个极其庞大的单体PHP应用,由于业务数据量增长和性能需求,需要将其中核心业务拆解到JAVA微服务框架。

重构过程:

  1. 业务决策。从产品战略维度允许大部分精力投入重构,接受至少半年无新产品迭代。
  2. 开发过程。相对顺利,业务测试+接口维度的灰度发布+性能测试 保障了线上稳定性。
  3. 技术评估。PHP -> JAVA,业务逻辑重新实现,保证前端无感知。小黑屋封闭开发,中间有几次技术架构调整,导致返工。

过程中的问题:1、对于微服务涉及的知识储备不够,开发中的技术调整的补全导致返工。2、产品需求list缺失,大多数历史逻辑是靠资深开发和测试确认和补回。3、虽然保障了web端的对外接口协议不变,可以通过自动化覆盖大部分改动,但是对于移动端api保障不足。4、中间遇到几次由于对java技术栈不熟导致的故障。

  • PC端的文件同步系统重构

背景:网盘的PC端文件同步系统,由于历史遗留bug太多+逻辑庞杂,难以继续堆砌业务逻辑,决定重构。

重构过程:

  1. 业务决策。业务上同意重构,但是由于历史负担实在太重,开发团队还是需要分一部分精力同时间处理线上旧版本反馈,且心理负担极大。
  2. 开发过程。开发进度缓慢,前面用了很多时间搞Electron,实际核心底层逻辑估时严重不足。bug太多了,测试2、3个月版本无法稳定。
  3. 技术评估。底层使用C++ 检测操作系统层级数据变更,业务层用Python实现同步操作,展示层由QT迁移到Electron框架。技术方案评估时由于技术栈特殊性,技术TL无法给予足够指导

过程中的问题:1、心态上负担大,历史名誉不好导致患得患失。2、前期重构规划不足,同时把从底层到前端全部重构,工作量大,新技术多。3、研发团队中缺少相关技术栈沉淀和人员储备4、开发质量太差,同一份用例每次执行都有很多bug(表现重复但底层原因各不相同)。5、缺少有效的测试手段,桌面客户端历史自动化沉淀太少,纯手工。6、产品只给了文件同步大原则逻辑,很多细节是边开发边确认的,导致有很多追加的工作量。

  • 某媒体资源管理系统的服务迁移

背景:公司有新旧两套媒资数据管理系统,基于统一研发应用+节省资源的需求,将业务系统中数据管理模块从旧应用迁移到新应用。

  1. 业务决策。涉及的上层业务众多,各自迁移节奏不同,花了很多精力推动各方改动
  2. 开发过程。整体进度缓慢,走走停停。过程中多次涉及补充兼容逻辑。整体耗时近一年。
  3. 技术决策。这个改造方案对于上游业务+前端都有感知,需要配合改造。这次的改造和普通的重构改造还有个区别是,新的媒资系统实际也已经运行了很久且有上层业务衍生逻辑,无法和旧媒资系统完全保持一致。

过程中的问题:1、本身改造复杂度大,需要兼容的点多。2、前后端都有变更,测试手段有限,历史积累自动化无法应用,绝大部分纯手工。3、历史产品逻辑细节较多,重构团队这方面缺少输入,经常出现漏处理的业务逻辑。4、缺少更细粒度的灰度发布手段(只能应用级别灰度)

我理解的系统重构的关注点

1、重构狭义上看是技术层面的,业务逻辑无需改动,甚至上层应用都应该无感知。在重构规划时,应该尽可能往这个方向上靠拢,如果实在无法做到,那么风险极大。

2、重构另一个维度来看,也是业务的一个妥协,但也背着业务债。业务会有新的期待,新的要求,在技术规划时就要考虑到。

3、重构需要依赖功能清单(加粗)

        重构前,已有能力清单应该明确并用来确认重构方案是否支持;

        重构过程中,也可以根据这个清单评估工作量和进度;

        测试时也要按照这个清单逐项验证。

        这个清单应该足够细化,产品+测试+技术同学统一参与进来梳理。

4、可能会受影响的上下游应用都要评估到。关注他们的业务诉求和改造进度诉求。

5、引入新技术、新框架要提前做好知识储备+人员储备。边学边开发是一件要命的事情。

6、重构是一定一定需要测试介入的事情,从前期准备阶段就需要。可测试性需要从改造范围+技术方案+进度计划多个维度考虑。

7、重构期间尽可能专注,别受线上问题、业务压力影响,其他团队/职能帮忙分担些。

过程中QA要做的事情

1、协助梳理历史需求和能力。

这个大多数情况旧系统都缺少文档沉淀、知识积累,甚至连当初设计的人员都不在了。测试大概率是最熟悉这个系统的角色,重构方案制定前,测试需要花较多时间来梳理、确认历史需求和能力,输出给研发,同时支撑自己的测试方案计划。

2、重构方案的可测试性评估和稳定性要求。

        判断改造范围来确定可采用哪些测试手段,尽可能复用之前的自动化,也可以提测试需求(留后门接口、单测覆盖度要求)

        尽早提出稳定性要求,比如灰度发布逻辑,可回滚逻辑,数据备份要求。

        尽可能早的介入测试,可以提一些分阶段测试要求

3、提前准备好功能基线(功能清单)+非功能基线(性能表现),来评估重构后的质量表现。

4、如果发现上面有提到的可能导致质量风险的特征,要及时调整投入的测试资源,充分测试。

5、新技术的引入和使用。流量回放、灰度发布+监控、数据埋点

有关系统重构类改造的测试总结的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  3. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试? - 2

    我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  4. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  5. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手;我正在运行一些rspec测试,但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音?我仔细检查了环境是否设置为:test,这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  6. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  7. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  8. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用? - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel

  9. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能? - 2

    只是想确保我理解了事情。据我目前收集到的信息,Cucumber只是一个“包装器”,或者是一种通过将事物分类为功能和步骤来组织测试的好方法,其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗? 最佳答案 有点。它是一种组织测试的方式,但不仅如此。它的行为就像最初的Rails集成测试一样,但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意,您可以使用步骤来构建对象和设置状态,但通常您

  10. ruby-on-rails - 如何调试 cucumber 测试? - 2

    我有:When/^(?:|I)follow"([^"]*)"(?:within"([^"]*)")?$/do|link,selector|with_scope(selector)doclick_link(link)endend我打电话的地方:Background:GivenIamanexistingadminuserWhenIfollow"CLIENTS"我的HTML是这样的:CLIENTS我一直收到这个错误:.F-.F--U-----U(::)failedsteps(::)nolinkwithtitle,idortext'CLIENTS'found(Capybara::Element

随机推荐