数据质量sla(数据质量检查)_数据中心

“熵”是热力学第二定律的核心概念。熵实际上指的是“混乱程度”。简单来说，熵是衡量世界事物混乱程度的指标。在一个孤立的系统中，它的总混沌度（熵）不会减少，这意味着如果不进行控制，事情将倾向于继续无序地发展。

事实上，数据也是一个不断熵增的过程。随着时间的推移，会出现无效数据、错误数据、冗余数据、不标准数据、冲突数据等。如果我们不能正确控制和减少数据中的“熵”，我们最终会得到一些无序且低价值的数据。

如何把“熵增”变成“熵减”，数据质量管理尤为重要。

定义：解释数据质量管理

数据质量管理是对数据生命周期从规划、获取、共享、维护、应用、消亡等各个阶段可能出现的各种数据质量问题进行识别、测量、监控和预警等一系列管理活动。并通过改进和提升组织的管理水平进一步提高数据质量。数据质量管理是一个循环的管理过程，其最终目标是通过可靠的数据提升数据的使用价值，最终为企业赢得经济效益。

因此，数据质量是保证数据应用的基础。评价数据是否满足预期的质量要求，需要专业、权威的评价标准来约束。迄今为止，最权威的标准是全国信息技术标准化技术委员会提出的数据质量评价指标（GB/T-2018ICS35.24.01），它包括以下几个方面：

管理框架：数据质量管理体系框架

数据质量非常重要。我们知道数据存在的问题，也知道数据质量必须满足六大评价标准，但是我们如何系统地构建和管理呢？数据质量管理一般以数据标准作为数据验证的基础，以元数据作为数据验证的对象，整合质量评估、质量检查、质量整改、质量报告等工作环节，形成完整的数据质量管理闭环。

数据质量管理架构图

方法论：数据质量管理的四个阶段

然而，我们需要遵循什么流程来有效控制数据质量，从而提高数据质量、释放数据价值呢？一般来说，数据质量控制过程分为四个阶段：启动、执行、检查和处理。在管控过程中，这四个阶段需要不断循环、螺旋式上升。

第一阶段：启动

现阶段，我们需要根据机构现有的组织架构和工作规范，建立一套质量控制流程和规范，例如成立质量控制委员会、制定质量控制措施等。质量控制委员会不必是专职的，可以由信息中心等现有机构的相关人员兼职担任。在数据质量控制方法上，应明确质量控制的角色和职责，建立可执行的工作流程和可量化的工作评估方法。还应提供绩效考核、冲突解决和管理控制方法。

流程和规范到位后，相应的负责人应明确本轮质量控制的目标。例如：数据质量改进的范围，或者满足一些业务期望。目标设定完成后，我们就可以进入下一个执行阶段。

第二阶段：执行

进入执行阶段，就要启动具体的质量控制工作，整个工作要围绕启动阶段设定的目标来开展。适当引入一些质量控制工具可以帮助我们更高效地完成工作。

第一步，数据分析

首先，应对已知数据问题进行评估。这里考核的范围也应该在本轮调控的目标范围之内。其次，通过分析数据，发现数据问题，通过标准或者业务研究可以提取出具体的规则。

1）根据标准提出标准规则

例如，我们可以根据标准提取如下图所示的编码规则并进行检查。

2）研究业务，提取业务规则

然后，我们可以从业务研究中提取规则，比如金融行业本年累计大中小微企业贷款金额的计算口径：本年大中小微企业累计贷款金额企业贷款=本年累计大型企业贷款金额+本年累计中型企业贷款发放金额+本年小微企业贷款累计发放金额+本年小微企业贷款累计发放金额年+当年个人经营性贷款累计发放金额，该指标计算规则受检验控制。

当然，业务规则也可以基于我们既定的业务期望。目标不同，业务分析的方向也应相应调整。

步骤2：设计数据质量控制操作流程

一旦知道已知的数据问题，就应该设计数据质量控制操作程序。主要包括以下三个方面：

1)建立检查和监测的频率和方法

2）制定质量问题评估方法和整改方法

3）制定质量报告内容和对象

步骤3：定义数据质量要求

根据分析的质量检验规则和控制操作流程，定义数据质量要求，可分为以下三个步骤。

1）梳理数据模型

数据模型梳理的主要任务是确定检查对象实体之间的关系，如关键字、主外键关系梳理、字段类型、长度等。

2）建立质量规则

这一步是将我们分析的数据验证业务规则转化为可执行且结果丰富的技术规则。