博客 数据质量管理两大保障

数据质量管理两大保障

   数栈君   发表于 2023-06-28 15:55  522  0
1、数据治理体系保障


由前面可知,数据质量管理要高效推进,不仅仅是个技术问题,更是管理问题,依赖于公司的组织、制度、流程的配合,有赖于公司数据治理保障体系的建立,我曾经在《怎样画一张人见人爱的数据治理框架图?by 傅一平》提出过一体两翼“数据治理体系框架,见下图:


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/dc1453f96d37d1fefdf3b7243d425e62..jpg


可以看到,数据质量管理作为数据管理活动的一种,需要数据治理体系的保障,包括战略管理政策原则组织文化制度规范监督控制变革管理项目推动问题管理法规遵从。

下面举例说明:


针对数据质量管理本身,要加强顶层设计,明确数据质量管理的原则,建立数据质量管理制度,明确数据质量管理流程,约束各方加强数据质量意识,督促各方在日常工作中重视数据质量,在发现问题时能够追根溯源、主动解决。


在数据质量需求阶段,只有业务部门的充分参与,才能明确业务问题和优先级,确保数据质量改进具有较大的价值,而要做到这点,离不开企业数据战略的指导,离不开企业级数据治理组织的保障(比如企业级数据治理委员会和办公室的设置),确保拉通业务和技术,确保足够的资源投入(比如各部门数据质量管理专员的设置)。


在数据质量检查阶段,规范标准的有效执行和落地是数据质量管理的必要条件,包括数据模型标准、主数据和参考数据标准、指标数据标准等,有了规范标准,数据质量规则的制定才有据可依。


在预防未来数据错误阶段,往往需要通过对人员进行管理和培训,对业务流程进行优化,对系统问题进行修正,对制度和标准进行完善才能彻底解决问题,这些都离不开数据治理的组织文化、制度规范,监督控制等的支持。


2、数据环境分析保障


数据是一种质量管理的对象,数据本身也是一项业务,对数据这项业务的的理解越透彻,我们前面采取的那些数据质量提升方法和步骤就越有针对性,也会越有效,而所谓数据的业务就是数据从规划(Plan)获取(Obtain)存储和共享(Store and Share)维护(Maintain)应用(Apply)再到报废(Dispose)的全数据生命周期(简称POSMAD)这个流程。


比如理解了数据的应用场景,就可以有效判断业务问题的价值,从而更好的明确数据质量需求和评估业务影响程度;理解了数据模型和业务场景,就可以制定更合理的数据质量规则,更高效的进行数据质量检查;理解了数据的全流程,就可以实现数据的血缘分析,这是确定数据问题根本原因的一种有效方法,而通过流程优化往往又能预防数据质量问题的再次发生,诸如此类。


下图的麦吉利夫雷的信息质量框架【1】为理解数据业务流(简称POSMAD)提供了一个逻辑框架,可以帮助理解造成数据质量问题的复杂环境,一旦理解了这个框架,可将其用于理解下列事项:


(1)诊断:评估实践和流程,了解哪里出了故障,并确定是否提供了数据质量需要的所有要素,识别遗漏的要素,将其作为项目优先级和初始根本原因分析的依据。


(2)规划:设计新的流程,确保影响数据质量的所有要素已经解决,确定时间、金钱和资源的投资方向。


(3)沟通:解释数据质量所需的和影响数据质量的要素。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/02db7f3650d2d863da252efa17ba29e9..jpg


这里以地址主数据为例,说明地址相关流程(应用阶段)的理解对地址主数据建设的重要性,下面第一张图展示了所有涉及地址数据使用的流程全景,这是实现地址主数据统一管理的前提,第二张图针对其中的驻地网资源入网流程进行了详细的说明


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4c749c54ea2c84e2c6a0146c99b88641..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7331cba54849aaa7d6bd0296dfe1254b..jpg


下面以供应链数据为例,从技术角度说明供应链系统各个模块是如何获取、存储和共享及维护相关实体的,这对于评估供应链数据的使用和变更情况至关重要,如下图所示:


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a4c9c9bf0481acf425157a54f619c79d..jpg


应该来讲,虽然数据质量管理涉及的功能模块和步骤很多,但在实践中,只要按需挑选必需的模块和步骤即可,同时各个步骤间也不是严格的前后关系,会有反复,比如在推进到预防未来数据错误这个步骤时,往往要回到根因分析这一步骤去进一步核实。

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群