数据中台 数据中台

tel 400-002-1024
tel

数据质量工具

2021/04/09 袋鼠云 文章来源:.

提供数据质量管理,实现整个数据生命周期的质量管理,可以根据标准规则可视化配置数据质量检测策略,通过调度中心实现数据质量检测,发现问题数据,根据所有者系统派相关人员修改问题数据,根据需要形成数据质量评估报告和问题处理报告。为了减少对信息系统数据库的影响,数据质量检测采用数据流检测技术,数据质量检测方法和计算在引擎中运行,而不是依赖数据库的SQL。

资料质量工具主要有:资料质量初步分析,资料质量精度检验,对比验证,检验结果处理等。

1)数据质量初步分析:提供数据质量初步分析能力,方便对指定库表进行数据质量初步理解。包括全库初步检测、数据库表基本信息分析、表基本信息分析统计信息等分析。全库初步检测,对库内所有表进行初步检测,获取库内基本信息,每个表初步检测包括表名、主键字段数、外键字段数、字段数、必填字段数、记录数、空值率、空值比等。以表格提供。

2)数据质量精度检查:提供数据质量精度检查,方便对订单进行精细数据质量分析。提供数据质量检查服务,对数据库表进行指定的规则检查,提供逻辑表达检查,提供类似的重复记录检查,提供复合检查,提供可视化定义界面,提供数据质量检查方法界面和类似检查方法界面,方便增加数据质量检查方法。

3)数据质量检验服务:对数据库表进行指定的规则检验,包括格式检验、范围检验、缺失记录检验、类似重复记录检验、精度检验、逻辑表达检验、复合规则检验等。在数据质量检验服务中,可视化配置单字段多规则检验,也可配置多字段同规则检验,也可配置多字段相关检验。

4)类似重复记录检查:包括完全重复记录检查和类似记录检查。完全重复记录检查可以根据一个或多个字段的比较得到重复记录,可视化配置;类似记录检查是指先检查一个或多个字段的相似性,然后得到记录的相似性,根据记录的相似性值得到类似记录,可视化选择多个字段的相似算法和可视化定义记录的相似算法和属性。

5)比较和验证检查:提供比较和验证功能,对数据目标和数据源进行一致性检查,发现其差异。主要包括数据库表的比较和数据文件的比较。对源库表和目标库表进行一致性比较检查,包括表结构比较和数据一致性比较,可以发现和显示不同的结构和不一致的数据(包括增加、修改和减少的数据),对源和目标文件夹下的文件进行比较和验证检查,可以发现和显示不一致的文件,包括增加和修改的文件。支持数据源和数据目标位于不同网段的一致性检查。

6)检验结果处理:数据质量检验服务部署运行后,会产生检验结果,数据质量检验结果存储在指定的数据库中,每个数据质量检验服务的存储表结构会根据所选的检验字段和定义的检验规则自动生成,并提供可视化界面,方便信息配置的修改。

7)系统提供问题数据统计:为每项数据质量检验服务提供数据质量检验结果报告,包括异常数据和异常数据检验的规则描述,并能进行问题数据统计、修改情况统计和检验规则统计。