博客 一文说透数据治理的角色、要素、流程和最佳实践

一文说透数据治理的角色、要素、流程和最佳实践

   数栈君   发表于 2024-09-02 15:22  1914  0
数据治理是企业涉及数据使用的一整套管理行为,是关于如何制定和实施针对整个企业内部数据管理与应用的一系列政策和流程。
数据的质量直接影响着数据的价值,并且直接影响着数据分析的结果以及我们以此做出的决策的质量。我们常说,用数据说话,用数据支撑决策管理,但低质量的数据、甚至存在错误的数据,必然会"说假话"。数据治理即提高数据的质量,发挥数据资产价值。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/51e3b187152bcb6db3716dd0ea201080..jpg

当前企业数据治理面临着各种挑战,主要表现为以下6个方面:
1.对数据治理的业务价值认识不足
企业领导和业务部门经常会对数据治理提出灵魂三问:

1.数据为什么重要?

2.数据治理能解决什么问题?

3.数据治理能带来哪些价值?


传统数据治理过于注重技术层面,侧重于底层数据的标准化和操作过程的规范化。虽然技术驱动的数据治理能够揭示数据的缺陷,提升数据质量,但这并未满足管理层和业务部门的需求。

因此,企业需要从解决实际业务问题和满足数据应用需求出发,以业务价值为导向,量化数据治理的业务价值,增强管理层和业务人员对数据治理的认知和信心。
2.缺乏企业级数据治理的顶层设计

尽管有的企业已经意识到数据的重要性,并开始了数据治理的探索,但目前大部分的数据治理活动仍然是项目级或部门级的,缺乏企业级数据治理的顶层设计和资源统筹。

数据治理涉及业务梳理、标准制定、流程优化、数据监控、数据集成和融合等多方面工作,如果缺乏顶层设计的指导,治理过程中容易出现偏差或失误,而一旦出现偏差或失误又不能及时纠正,其影响将难以估计。

因此,企业数据治理的顶层设计需要关注全局性和体系性,从组织部门、岗位设置、流程优化、管理方法、技术工具等方面入手,构建企业数据治理的组织体系、管理体系和技术体系。
3.高层领导对数据治理不够重视
数据治理是企业战略层的策略,需要企业各级领导、各业务部门核心人员、信息技术骨干的共同关注和通力合作。

高层领导是数据治理项目实施的核心干系人,他们的支持不仅是财务资金方面,更在于对数据战略的细化和实施充分授权,以及所能提供的资源。

为了保证数据治理的成功实施,企业通常需要成立专门的组织机构,如数据治理委员会,并设立“首席数据官”(CDO)负责制定企业数据治理目标、方法和沟通策略。
4. 数据标准不统一,数据整合困难
企业内部的数据标准不统一,各行业缺乏行业层面的标准和规范定义。

在信息化早期,信息系统的建设由业务部门驱动,缺乏统一规划,形成了一个个信息孤岛。

随着大数据的发展,企业数据呈现出多样化、多元化的发展趋势,数据集成、融合困难重重。同时,企业之间的数据标准也不统一,各行业、各企业倾向于依照自己的标准采集、存储和处理数据,这虽然在一定程度上保护了商业秘密,但阻碍了企业之间的协同发展。
5. 业务人员普遍认为数据治理是IT部门的事
在很多企业中,业务人员普遍认为数据治理是IT部门的事,而他们自己只是数据的用户,因此对数据治理持有一种“事不关己,高高挂起”的态度。然而,数据的定义、业务规则、数据输入及控制、数据的使用都是业务人员的职责,这些正是数据治理的关键。因此,在数字化时代,IT和业务应当紧密融合在一起,共同实现数据驱动业务、业务融入IT的目标。
6. 缺乏数据治理组织和专业的人才
数据治理实施的一个重要步骤是建立数据治理的组织并选拔合适的人才。

在实际操作中,企业常常面临如何建立合适的组织模型和选拔专业人才的挑战。

企业需要根据自身的组织和管理现状来确定数据治理的组织模型,没有最好的组织模型,只有更合适企业的组织模式。
基于以上数据治理挑战现状,数据治理的核心目标主要总结有以下几点:

(一)构建数据标准体系

构建数据标准体系的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现企业内部数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据治理工作打下坚实的基础,为数据资产管理动提供规范有效依据。

数据标准化的过程是通过数据管理平台实现数据标准,并将各个系统产生的数据通过清洗、转换、加载到整合平台的数据模型中,实现数据标准化的过程。首先,通过要求数据语义遵循确定规则来减少源数据的不确定性、减轻数据交换的障碍。其次,数据标准的兼容性为企业相互共享提供可能,在不同场景和环境中使用数据产品或服务,可以使数据产品或服务正常流转运行。数据标准体系的建立可有效提升企业数据治理的效率,降低数据治理成本。 

参考:什么是数据标准?如何做好数据标准管理落地?

(二)提升数据质量

数据作为产生业务价值和实现业务目标的基石,数据质量已成为企业实现业务目标的一个极其重要的因素。数据的质量问题在一定的角度上反映出企业数据治理过程中存在的一些问题,分析数据质量问题可以帮助企业找到问题的源头。

高质量的数据对管理决策,业务支撑都有极其重要的作用。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公司的竞争力,在企业市场竞争时期立于不败之地,而低质量数据往往会导致错误的业务决策。提升数据质量能够为企业提供结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提。

参考:数据治理:数据质量提升十步法(PPT)

(三)推动数据安全体系建设

企业数据安全体系建设是数据治理和信息生命周期管理的基础,通过对企业内部的数据全生命周期的盘点梳理,可以帮助确定企业数据所有权的适当分配及建立完善的权责制度,满足监管及合规要求。在企业数据治理过程中,数据安全能力的提高成为数据价值共享的关键,推动数据安全体系建设是企业数据治理的必要环节。

企业根据数据资产对企业的重要程度,为数据打上不同的标签,对敏感数据进行分级分类,根据数据所属的级别,明确数据的使用范围、开放方式、不同等级的数据在不同场景使用不同的安全策略。企业可以采取数据泄露防护、加密、权限管理等技术手段,对企业机密数据提供进一步的保护,从而降低数据泄露带来的风险。 

参考:数据安全治理体系建设方案(附PPT)

(四)推动数据资产体系建设与管理

数据治理是实现数据资源向数据资产转变的重要载体,基于数据治理形成的数据资产体系作为企业各业务数据服务的提供方,在建设过程中需匹配企业战略规划,从全局维度将自身平台能力与数据能力赋能业务。同时,数据源不断地向数据资产平台输出数据,即业务产生数据,数据服务业务,形成业务数据化、数据资产化、资产服务化、服务业务化、业务智能化的一套闭环、高效的数据资产体系与数据服务能力。

企业如何进行数据资产管理、提升数据质量、挖掘数据价值并通过数据赋能业务,已成为企业数据治理的核心问题。企业通过建设统一的数据资产管理平台,综合管理所有数据资产,可实现数据资产的智能化管理,充分发挥数据的潜在价值。数据资产平台作为一体化的数据资产管理工具,通过制定元数据模型、数据标准等规范,采集并建立完整的数据资产目录体系,打通数据关系网络,实现数据的标准化和资产化管理。 

参考:46页PPT | 数据资产目录建设方案

(五)推动数据管理组织体系建设

数据管理组织体系涉及业务、IT、管理等方方面面,仅仅依靠技术部门来推动和开展数据管理工作无法取得成功,只有来自更高层管理者的驱动力,建立自上而下的跨部门、跨业务条线的组织体系,才能保证企业内部的高效协作,推进数据治理各项任务的有效执行。

实践证明企业的数据管理办公室、数据管理部可协助企业制定公司级的数据管理制度、流程、机制,建立并维护企业级数据架构,监控数据质量,披露重大数据问题,建立专业任职资格管理体系,提升企业数据管理能力,推动企业数据治理制度文化的建立和传播。

参考:数据治理咨询项目:《XX集团数据管理办法》.doc

(六)促进数据应用及共享

数据治理的主要目标之一是推动数据有序、安全地流动,以便最大程度地挖掘和释放数据价值。数据流动则需要推动数据的开放分享,实现数据的汇聚、建模、共享。数据的开放共享的核心在于数据汇聚,打破数据孤岛,实现数据价值的流通;重构数据获取及应用方式,重塑从数据供应到消费的链条;建立高效、规范的自助消费数据应用。

数据治理可有效促进数据应用及数据共享,使更多的企业组织充分地使用已有数据资源,减少信息收集、数据采集等重复劳动和相应费用,而把精力重点放在开发新的数据应用及系统集成上。数据应用及共享可以为企业组织带来降低运营成本、增强业务能力、提高效率、集中访问数据以减少重复数据集、促进组织间的沟通与合作,加强参与组织之间的联系等益处

参考:企业数据湖+数据资产+数据中台实施方案(PPT)

那么如何做好企业数据治理工作?笔者认为数据治理有三个关键方面:

  • 角色:明确数据治理的责任人,包括数据督导、数据建模/架构团队和数据库管理团队。
  • 要素:定义数据治理的关键要素,包括数据定义、数据模型、数据技术平台、数据生命周期管理和数据治理KPI。
  • 流程:建立数据治理的核心流程,包括定义数据对象、保证数据质量、制定与管理数据SLA、管理数据模型与架构、管理数据性能与容量、管理数据可用性、管理数据备份与恢复、管理数据持续性和管理数据安全性。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/60a3c94151b3eb70b7b2ca580b26f50c..jpg


首先要建立企业级数据治理团队,组织配置如下:

  • 数据督导团队:负责数据分类、定义、质量监控和SLA管理。
  • 数据建模/架构团队:负责数据模型的设计和维护,以及数据技术平台架构的规划。
  • 数据库管理团队:负责数据库的日常运维管理,包括数据备份、恢复、性能优化和安全保障。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b9a5c4bed0b2fd8d534b71efa4b58a37..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/eebc7911cf755351701644f2df7fa0f2..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/52d0b047043ddcd3bd3e476f677a3ad1..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d952c52f7cc7c65ef2d7c1c40406661b..jpg

有了组织保障,还需明确数据治理的几大要素:

  • 数据定义:定义数据对象、属性和负责部门,确保数据的一致性和完整性。
  • 数据模型:建立数据概念模型、逻辑模型和物理模型,为数据存储和使用提供指导。
  • 数据技术平台:规划数据集成、集合、存储和访问的技术架构,确保数据的高效利用。
  • 数据生命周期管理:明确数据全生命周期的存储规范,包括存取速度、备份和恢复要求、迁移日期、保留期限和保护方式。
  • 数据治理KPI:定义数据治理的主要考核指标,如完整性、准确性、及时性等,评估数据治理的效果。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4427d222002ad7fed97de69f4da4063d..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ed3190ca3d1fd472204bff46ae9a615a..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/42fd729b125639f2f446ee4f9f8a7537..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b1f63a19f12b09eae83288ca567e0aab..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8a2e37112c573a55a2df33ff03e657a5..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/353baa127765ae82b05d1530102fcdb8..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3a7551cf9e62165e0fe91fe8d246e789..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9eb847c6e30b48f8735ac7de18ebb312..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3a92d7b6b3459f6d2c5d487bfcebd5c1..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0e693f8980ff9c05d550bf8158f98229..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4765a8298f4d5cce9fa3c9c591f078f3..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0a5f9bffa77302858fbff485c197d4b7..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2dafc4e5545230cad045ac038f1f1fb9..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/bb024aef9524d1a687f62f0d43ca32c2..jpg

接下来重点介绍下数据治理9大核心流程:

  • 定义数据对象:识别数据对象,评估其价值,并进行分类和定义。
  • 保证数据质量:评估数据质量,制定数据质量策略和步骤,并执行数据质量审计。
  • 制定与管理数据SLA:定义服务水平标准,协商服务承诺,并评估和汇报服务水平实现情况。
  • 管理数据模型与架构:为数据元素建模,定义数据元素分类,并建立与物理数据库、应用架构和业务流程的交叉引用。
  • 管理数据性能与容量:规划数据性能和容量管理,采集数据性能和容量衡量标准,并监视和分析数据性能和容量。
  • 管理数据可用性:定义数据可用性计划,跟踪数据可用性,并分析和汇报数据可用性。
  • 管理数据备份与恢复:确定备份和恢复需求,制定备份/恢复计划和步骤,并执行备份和恢复操作。
  • 管理数据持续性:制定和维护数据持续性计划,保持数据持续性的就绪性,并执行数据持续性计划。
  • 管理数据安全性:分析数据安全性暴露情况和风险,制定数据安全性策略,并管理数据安全性。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/acff14455a21f23ce57bfceacaeae231..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/29e36d82d03f5fe6001623b68afd89ce..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/6355e54133fd462cc9fad2e85e82bb1c..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3f339bc1ac0f40c289342666b4b5a8a7..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/040f768859df44c857e47c0a82c92a8d..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/92b5b3d87db23b6f8b5858d333f240aa..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d433b4837d2645830c9b785c7bbea856..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/dbba92b57b7ee7c676d6c312042d2520..jpg

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/086ab03599048a93a145af65a59d3801..jpg

在对标数据治理最佳实践时,企业可以从已经通过各种流程和模板的其他企业成功案例那里学习。每个企业都是不同的,需要根据其流程定制和调整数据治理实践,不建议“照葫芦画瓢”。数据治理的最佳实践总结如下:

建立数据治理组织架构,明确责任和分工。
制定数据治理策略和流程,并确保其落地执行。
建立数据标准体系,确保数据的一致性和完整性。
使用数据治理工具,提高数据治理效率和效果。
加强数据治理文化建设,提高全员的数据治理意识。


人人都知道数据的重要性,它可以带来数字化转型,助力企业超越其竞争对手。如果没有适当的数据治理,即使是一个简单的业务,也很难运行。企业在开展数据治理工作时,可参考如下实施建议:

  1. 制定数据治理实施计划,明确目标、步骤和时间表。
  2. 建立数据治理团队,并对其进行培训。
  3. 开发数据治理工具,并建立数据治理平台。
  4. 开展数据治理试点项目,逐步推广数据治理经验。
  5. 建立数据治理考核机制,评估数据治理的效果。
    内容为转载,如侵删

    《数据资产管理白皮书》下载地址:https://www.dtstack.com/resources/1073

    《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs

    《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001/?src=bbs

    《数栈V6.0产品白皮书》下载地址:https://www.dtstack.com/resources/1004/?src=bbs

    想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

    同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群