草庐IT

数据项目中的测试战术与测试工具

李春辉 2023-03-28 原文

随着科学的进步、技术的不断更新，世界已全面进入数字化和智能化时代。2021年3月，国家“十四五”规划的正式发布，进一步催化了各大小企业争分夺秒的进行数字化转型、大数据赋能业务、数智化创新等举措，为的就是不久的将来企业紧跟时代发展不被科技进步所淘汰。
近年来，数据仓库、数据平台、数据中台的建设爆炸式增长，相关的技术与架构也纷纷涌跃与各大社区或公众号，本文从测试视角，总结分享一些在数据项目中积累的战术（策略）与武器（工具）。
在分享测试战术之前，先简单介绍一下数据项目的数据分层架构。

数据分层架构

数据分层架构并没有固定的标准，行业内数据分层通常是分为三个层：ODS(Operation Data Store) - DW（DataWarehousel） - ADS(Data Warehouse Service)。

数据分层案例
  • ODS数据运营层：即原始数据层，与业务系统基本同构，目的是保留历史，解耦业务数据库，这样整个数据平台只需要访问一次业务数据库即可。ODS 层有些时候会细分为两层，一个 STG 数据缓冲层，存原始数据，一个 ODS，存简单清洗的数据。
  • DWD数据仓库层：由下到上为 DWD(Data Warehouse Detail) -> DWB(Data Warehouse Base) -> DWS(Data Warehouse Service) 。
    • DWD明细数据层，对数据进行清洗、代码统一、字段统一、格式统一、简单映射等工作，是为后续的处理提供统一、标准的数据。
    • DWB基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
    • DWS服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表
  • ADS数据服务层：主要是提供给数据产品和数据分析使用的数据，包括前端报表、分析图表、KPI、仪表盘等分析，面向最终结果用户。

测试战术与装备

战术一：依照数据分层架构，由底上向逐层验证。（复杂问题简单化）

无论你是数仓项目、还是在数据平台类项目上，数据的完整链路非常长，从最底层的ODS到最上层的ADS，经过了很多步的数据转换与逻辑处理，如果不进行分层验证，那么，端对端的测试复杂度非常高；而且，发现问题后，Debug的难度和时间成本也较高。
目前不少数据测试团队栽倒在此环节，还停留在只做端对端测试，测试痛苦且效率低下。

分层验证

战术二：依照精准定位+全量捕漏，精准造测试数据验证，生产全量数据探查。

在测试环节，面对单步任务处理逻辑，由于数据场景较多，测试难度不小。所以，更需要精准构造每一条测试数据来完成场景覆盖。避免多余场景数据造成干扰、防止数据混乱导致场景遗漏，数据场景清淅、易于精准定位问题、提高效率。
大数据时代下，面对真实环境的数据体量大、数据多样、数据质量差等现状，过去的测试环境构建测试数据变更更加困难，而且总有意想不到的数据情况在生产，所以一定要尽早上线验证探查。

战术三：依照数据开发生命周期，每一环节进行质量检验。

无论你是瀑布开发还是敏捷开发方式，在整个开发生命周期展开验证、形成闭环。

  • 瀑布团队：需求阶段 -> 架构设计 -> 开发阶段 -> 测试阶段 -> 生产线上。
    • 需求阶段：对需求进行评审，从数据质量的六个维度（完整性、一致性、准确性、唯一性、及时性、有效性）评审需求文档中是否存在不符合项，从需求的价值角度评审是否合理，从覆盖场景角度评审是否有遗漏或不符合场景等，从数据安全、性能等非功能性方面评审是否有不符合项。
    • 架构设计：参加架构设计评审会议，对于数据分层架构评审需要关注是否数据结构清晰、是否方便数据血缘追踪、是否把复杂问题简单化（比如，把复杂的任务拆解成多步骤、每一层处理单步，便于维护数据准确性，也易于定位或修复问题）、是否能屏蔽业务的影响（比如，改一处需求，指标维度变更还得重新接入数据）。
    • 开发阶段：提前编写测试用例（构建测试数据、数据即用例），与开发人员提前对齐目标结果。代码开发完成后，及时用准备好的测试数据进行验证。
    • 测试阶段：更多的是进行探索式测试，减少重复测试(比如，开发阶段的测试数据以及环境都没有差异，无需重复测试），如QA环境有脱敏生产数据，重点进行数据探查验证（参见：《一定要做数据探查》）
    • 生产线上：生产环境下的QA，数据结果探查验证、特别是要持续关注监控与日志，及时发现问题、及时与业务侧收集反馈等。
  • 敏捷团队：敏捷开发方式下的测试实践之前分享太多次，这里不再详细赘述。（可参见：《数据中台测试实践分享》
    数据项目测试活动

战术四：依照效能提升，提前预防、自动化装备

  • 前面提到的从开发生命周期出发，每个阶段进行安排相关就及时验证，实际上就是为了预防缺陷遗漏到后面。越早发现问题，修复成本越低。
  • 除了提前参与、提前验证、预防缺陷，还需要通过测试执行效率的提升来加强质量保障。数据类项目的测试用例即为测试数据，那么，测试数据构造自动化、每一层任务的测试验证自动化、数据探查自动化，一方面解决了人为执行可能出错的问题，二来自动化替代人工效率提高。
  • 工具推荐，对于测试数据构造工具有：Datafaker、DbSchema、Online test data generator等；ETL测试工具有：RightData、QuerySurge等；数据质量检查工具：great_expectations、mobyDQ、DataQuality、GriFFin、Qualitis等。
工具推荐

赠送利器Easy SQL

在项目实践过程中，即便应用了以上测试工具加持，团队依然会遇到各种困扰。

  • 构造测试数据工具只支持按定义规则批量生成数据，无法做到精准构造每步处理逻辑覆盖所有测试场景的最小集；而且定义每个字段规则时、字段与字段之间以及表与表之间都有复杂的约束或关联时，构建数据复杂度依然很高。
    【期望】期望能在Excel或Json文件中，直接在单元格填上数据即用例，即代表是测试数据已准备，这样多好。
  • 测试环境中构造数据时，数据表有上百个Schema，每次通过构造工具创建数据时，需要对这上百个字段进行构造。
    【期望】只构造与任务处理逻辑相关的字段数据、没参与逻辑处理的字段不用构造、减少繁杂提高效率。
  • 测试环境的维护总是需要花大量时间，不论是由于构造数据出问题还是处理逻辑有Bug，都会造成测试环境留下脏数据，如果不及时处理，会影响测试的正确性，造成不必要的浪费。
    【期望】希望能像UT一样不需要一个真实环境，就能对每一步数据处理任务进行自动化测试，开发人员或测试人员只负责MOCK测试数据与结果数据（比如：用简单的Excel填数据），程序能自动比对预期的结果和实际运行结果。
  • ...等等
    推荐一款利器：开源工具Easy SQL，Easy SQL 旨在简化数据 ETL 开发过程，帮助数据团队提升研发效能。它自带的Test SQL框架就是以上期望的方式，大大提升了测试效率。 附Easy SQL Git地址。
Easy SQL Test ETL
Test ETL中测试用例
测试工具战术section数据li

有关数据项目中的测试战术与测试工具的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  3. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  4. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  5. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  6. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  7. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  8. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  9. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  10. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

随机推荐