记录每次修订的内容，方便追溯。
| 多行文本 | 单选 | 作者 | 日期 |
|---|---|---|---|
| 完成文档 | V1.0 | 2023-02-27 | |
| V1.1 | |||
| V1.2 |
摘取自国标文档
以上是除了常规的软件质量模型外（软件测试质量六大特性，27项子特性如下图），数据质量的测试维度。
常规数据产品分层如下：
具体如下图：
2.1.1 数据收集层
1.原始数据采集效率测试--性能（需做到准实时）
每个版本会记录采集性能极限作对比。
2.数据完整性校验：通过监控保障
监控：异常数据以及无法处理的数据人工check，从而提高数据完整性
2.1.2 数据存储层
1.落库正确性、完整性验证
2.取数验证
例如：视频是切片存的，所以取的时候需要拼合，所以需要测试
3.性能验证
2.1.3 资源管理和服务协调层
1.单节点资源配置测试 pod
2.整个空间、队列资源、并行度测试、节点依赖先后执行顺序测试等
3.弱网测试，删除未删除干净时，是否需要考虑定时任务。
4.注入异常，混动工程、故障演练，可借助阿里工具ChaosBlade。
例如执行时，pipeline重启，测试重试机制等。
限流、服务资源控制在80%等
2.1.4 计算引擎层
对清洗规则测试
场景：
爬虫获取运营商用户通话情况、缴费情况
计算分析层分析出生日、近3个月通话静默天数（1个月打一次电话可能是个小号）
以上这些指标，对应的计算逻辑需要测试
具体：
1）需要生日字段做数据处理，这个时候有部分数据生日字段没有，可根据身份证号码或是社保信息中，提取出来，补全这个字段信息。
2）落库格式统一，例如日期指标。
测试需要做什么：
1）根据需求构造各类数据
2）分析判断指标设计是否合理 （例如：指标依赖避免环形关系出现，必填字段需要都给默认值等）
2.1.5 数据分析层
基于数据安全考虑，大多数情况下线上数据不允许下载，需要手动造数据测试清洗结果是否符合预期。
| 痛点 |
|
| 1 | 不知道造哪些类型的数据 |
| 2 | 很难分析出线上数据具体由哪部分构成（多样性：什么时候出现未预料到的数据，很多时候你不可能提前预判到，构造数据只可能是在现有数据的基础上构造，对于未采集到的数据信息会有滞后性） |
| 3 | 数据的准确度和可信度（每一层（原始数据初步处理、清洗、计算以及最终出的财务报表等数据）数据处理过程和结果都需要测试验证） |
| 4 | 当业务横跨多部门多模块，设计多数据库表时，非常依赖测试对项目表关联关系的熟悉程度。 |
方案一：接口造数据
可能存在的问题：
1）链路过深
2）无法保证上游接口数据是没有问题的
3）上有服务不一定文档（升级）
方案二：SQL造数据
可能存在的问题：
1）当表关联关系非常复杂时，无法梳理清楚
方案三：链路跟踪技术ATM——追踪业务流量经过的表，分析出表之间关系
从对应数据库，找几个例子，建立模板，改变关键信息，建立数据工厂。
1.1 基线数据集做递进式的测试
每个版本都以这部分数据做测试，查看数据结果清洗后是否一致。
存在问题：数据集数据可能不完整。
解决方法：所以要做数据协调矩阵，即要夸大数据集，例如扩大到近6个月等。一般测试2-3个周期的数据验证不同版本数据处理结果。
1.2 依赖数据工厂补充已知的异常类数据
对数据进行自动归类，APM可流量打标
线网复制，对线上数据拉取后做变异处理，脱敏加密，数据格式变异等
多次机器学习归类，再训练演练，回归回溯后，最终预期是使数据可用。
数据可用后，到线上进行渗入演练
验证稳定性，故障演练
具体参考：大数据测试-数据清洗的质量保障 周志强 中国DevOps社区_哔哩哔哩_bilibili
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
我希望我的UserPrice模型的属性在它们为空或不验证数值时默认为0。这些属性是tax_rate、shipping_cost和price。classCreateUserPrices8,:scale=>2t.decimal:tax_rate,:precision=>8,:scale=>2t.decimal:shipping_cost,:precision=>8,:scale=>2endendend起初，我将所有3列的:default=>0放在表格中，但我不想要这样，因为它已经填充了字段，我想使用占位符。这是我的UserPrice模型:classUserPrice回答before_val
我正在查看instance_variable_set的文档并看到给出的示例代码是这样做的:obj.instance_variable_set(:@instnc_var,"valuefortheinstancevariable")然后允许您在类的任何实例方法中以@instnc_var的形式访问该变量。我想知道为什么在@instnc_var之前需要一个冒号:。冒号有什么作用？ 最佳答案 我的第一直觉是告诉你不要使用instance_variable_set除非你真的知道你用它做什么。它本质上是一种元编程工具或绕过实例变量可见性的黑客攻击
我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss
我有一些非常大的模型，我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中？说app/models/validations/user_validations.rb。如果可以，有人可以提供示例吗？ 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:
当我的预订模型通过rake任务在状态机上转换时，我试图找出如何跳过对ActiveRecord对象的特定实例的验证。我想在reservation.close时跳过所有验证!叫做。希望调用reservation.close!(:validate=>false)之类的东西。仅供引用，我们正在使用https://github.com/pluginaweek/state_machine用于状态机。这是我的预订模型的示例。classReservation["requested","negotiating","approved"])}state_machine:initial=>'requested
我有一个服务模型/表及其注册表。在表单中，我几乎拥有服务的所有字段，但我想在验证服务对象之前自动设置其中一些值。示例:--服务Controller#创建Action:defcreate@service=Service.new@service_form=ServiceFormObject.new(@service)@service_form.validate(params[:service_form_object])and@service_form.saverespond_with(@service_form,location:admin_services_path)end在验证@ser
这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同，而不是下载一半的损坏文件？documentation说IO.copy_stream返回它复制的字节数，但是当我还没有下
