博客 数据治理操作指南

数据治理操作指南

   数栈君   发表于 2024-12-11 11:43  400  0

2 企业数据治理实施过程


2.1 数据治理实施框架
数据治理体系是为了规范业务数据规范、数据标准、数据质量和数据安全中的各类管理任务活动而建立的组织、流程与工具。

通过一个常态化的数据治理组织,建立数据集中管理长效机制,规范数据管控流程,提升数据质量,促进数据标准一致,保障数据共享与使用安全,从而提高企业运营效率和管理水平。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/383a1405bfc2ff9f25dc79ff7b41c311..png


2.2 数据治理组织架构
企业数据治理体系除了在技术方面的实施架构,还需要管理方面的组织架构支撑。

一般在数据治理建设初期,集团会先成立数据治理管理委员会。从上至下由决策层、管理层、执行层构成。决策层决策、管理层制定方案、执行层实施。层级管理、统一协调。

2.2.1 组织架构

1)决策层
提供数据标准管理的决策职能,通俗理解即拍板定方案。

2)管理层
审议数据标准管理相关制度
对跨部门难的数据标准管理争议事项进行讨论并决策
管理重大数据标准事项,提交信息科技管理委员会审议

3)执行层
业务部门:负责业务线数据标准的制定、修改、复审,推广落实数据标准等
科技开发:承担治理平台、数据标准、数据质量等实施工作;系统设计和开发工作中遵循数据标准
科技运营:负责技术标准的制定和技术推广

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a13ea33c5dd790dd730f6181b8fe321d..png


2.2.2 管理层职责

1)项目经理
确定项目目标、范围和计划
制定项目里程碑
管理跨项目协同

2)专家评审组
评审项目方案,确定方案的合理性

3)PMO
确保项目按计划执行
管理项目重大风险
执行跨项目协同、沟通
组织项目关键评审

4)数据治理专项组
执行各项目的落地实施和运营推广,推动执行层的实施数据治理技术落地和项目进展。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3f64b78d02b68bb2e73c7c37d70edb7b..png

2.2.3 执行层职责

数据架构师、数据治理专家和业务专员形成数据治理"铁三角",紧密协作,推进数据治理与数据架构落地。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/73a0650e1cac4d86994c4b042d000624..png

1)业务专员

业务专员作为业务部门数据治理的接口人,在标准、质量、应用等领域组织业务人员开展工作

定义数据规则

保障数据质量

提出数据需求

2)数据治理专家

数据治理专家作为数据治理组成员,负责设计数据架构,运营数据资产;牵头组织业务、IT达成数据治理目标。

构建数据逻辑模型

监控数据质量

运营数据资产

3)数据架构师

数据架构师作为IT开发部门的专家,承担数据标准落地、模型落地的重任,协助解决数据质量问题。

数据标准落地

逻辑模型落地

物理模型落地

2.3 数据治理平台
在确定了技术实施方案和组织管理架构,下面需要进行数据治理体系的落地实施。

在大型企业中一般会开发一个完整的数据治理平台,囊括所有数据治理功能,对外提供平台服务。

1)核心功能
数据治理平台作为数据治理的产品体系,旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2b88b5aff3e0181dd62abf33ae6abc93..png

数据资产管理:提供面向用户的场景化搜素,提供全景数据资产地图,方便快速查找资产和资产分析

数据标准管理:统一定制数据标准,提高包括字段、码值、数据字典管理,保障业务数据和中台数据的统一标准

数据质量监控:提供事前、事中、事后的数据质量体系,支持数据质量监控规则配置、告警管理等功能

数据安全:提供数据安全脱敏、安全分级和监控

数据建模中心:统一建模,提供业务系统建模和模型管理

2)元数据管理
元数据管理系统作为数据治理平台的前端展示门户,帮助实现对数据资产的快速检索能力,提高数据使用有效性和效率。
通过建立完整且一致的元数据管理策略,提供集中、统一、规范的元数据信息访问、查询和调用功能。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/df299d5635c74197e5adabb7acf5a610..png

3)数据质量

  • 数据质量监控:支持所有用户进行数据质量监控规则配置

  • 规则阻断:配置数据质量监控阻断规则,数据质量出现差异可实时阻断下游作业运行,屏蔽错误结果链路扩散。

  • 告警:数据质量出现预设偏差,及时发出预警通知及时修复

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/c6ec27fee4f5ce4d045bf563e75f3c39..png

4)数据标准

支持定制统一的数据标准平台,包括字段标准管理,码值标准管理以及字典管理,业务源数据和中台数据统一标准。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/063a2445a4e3eae419684d44807cbdfe..png

5)数据安全

基于集团数据资产实现数据安全分级管理,自动识别安全信息;提供数据访问安全行为监测,及时识别访问风险。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3e382b05ff1d6f0dc24b9089da02ffee..png

2.4 数据治理评估
数据治理平台开发完成并运行,需要对整体数据治理体系的效果进行验证和评估。

1)数据是否可以消除"脏、乱、差"的现象
2)数据资产是否最大价值化
3)所有数据的血缘是否完整可追溯


1)数据资产

通过构建数据资产管理体系,实现资产全覆盖,并支持全局搜索和精准定位目标资产。

实现全局搜索,面向用户提供场景化检索服务

支持标签、数据地图、表名和字段名等多种检索维度

支持进行数据地图,源业务数据字典的结果筛选

比如支持PV/UV用户搜索和资产展示,明确服务目标

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/6703565078a8bf1166db5c7362e42067..png

2)数据标准

新旧数据标准沉淀,打通了数据建模工具、数据标准库和词根标准库,落地数据标准和词根。

  • 实现数据标准库100%拉通

  • 智能识别数据标准和引用

  • 客户端同步更新数据标准、词根

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/83b9e1338c1d59270c5adf43470bf4bd..png

3)数据安全

保持事前制度建设事中技术管控事后监控审计的原则建立全流程数据安全管控体系。

基于以上数据安全管控体系,支持数据安全定级,构建灵活的数据安全共享流程。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f344f1a326c79c4a178aea5cec35c2cc..png

4)数据质量

通过数据质量雷达图,定期进行数据和任务质量打分,综合考察数据质量效果。

数据完整性:查看数据项信息是否全面、完整无缺失

告警响应程度:日常管理、应急响应、降低影响;避免数据损毁和丢失

监控覆盖程度:确保数据遵循统一的数据标准和规范要求

作业稳定性:监控作业稳定性,是否存在作业异常等问题

作业时效性:检查任务对应的数据项信息获取是否满足预期要求
————————————————

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据资产管理白皮书》下载地址:

《行业指标体系白皮书》下载地址:

《数据治理行业实践白皮书》下载地址:

《数栈V6.0产品白皮书》下载地址:

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

0条评论
上一篇:数据治理体系
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群