博客 读透《数据治理-工业企业数字化转型之道》

读透《数据治理-工业企业数字化转型之道》

   包袋鼠   发表于 2022-01-18 11:34  386  0

数据治理的概念有广义和狭义之分,狭义的数据治理指数据资源及其应用过程中相关管控活动、绩效和风险管理的集合,保证数据资产的高质量、安全及持续改进。广义的数据治理含义大于狭义数据治理,包括数据管理和数据价值变现,具体包括数据架构、主数据、数据质量、数据安全等一系列数据管理活动的集合。


DAMA定义的数据治理概念也属于狭义的范畴,即对数据资产管理行为行使权力和控制的活动集合(规划、监控和执行),但这个概念比较抽象,我在读DAMA的时候多次被劝退,一直没搞没明白到底是怎么回事,后来发现有两个原因阻碍了我的理解。


第一,企业处于应用数据的初期,不需要数据治理,只需要开展具体的数据管理活动,而没有数据治理的实践就很难理解其本质到底是什么。


第二,业界讲数据治理的书比较抽象,不要说举具体案例了,就连讲概念也是犹抱琵琶半遮面,如果你去看数据治理那个章节,就会有这种感觉。


在没有驱动、没有实践、没有科普的情况下,要理解数据治理挺难,有时候看到别人提数据治理和数据管理的区别,就觉得是否有点吹毛求疵,现在一回想,原来不是别人傻,而是自己不懂啊。


在我有了数据治理的初步实践后,一直希望有一本书能把狭义的数据治理的概念讲得清楚一点,因为感觉仅通过自己的实践去理解数据治理,体系化程度不好,也不全面。


最近我找到了一本,那就是《数据治理-工业企业数字化转型之道》这本书,以下简称《治理》


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/85b8afdde14d0b3d4d880ed3a5d5cbd7..jpg


虽然《DAMA》,《DCMM》或是《数据资产管理实践白皮书》,都对数据治理的能力域给出了自己的理解,比如《DAMA》的数据治理包含战略、组织、政策、审核等内容,《DCMM》的数据治理包括组织、制度、沟通等内容,《白皮书》的数据治理包含战略、组织、制度等内容。


《治理》这本书讲得是最好的,其将数据治理划分为组织架构制度规范执行流程培训宣传设计机制绩效考核等六大部分,并且针对每部分给出了了详细而清晰的解释。


如果说《华为数据之道》这本书的精髓在第2章和第4章,那这本书的精髓就是在第6章的数据管控,也就是数据治理的内容,建议一定要一个字一个字读过去,下面就来讲一讲。


一、组织架构


经过多年的数据治理实践,业界已经充分认识到,仅仅依靠技术部门来推动和开展数据治理工作是无法取得成果的,原因在于数据治理涉及企业各部门的业务和资源,只有来自更高层管理者的驱动力,才能保证企业内部的高效协作。数据治理组织的通用架构需要自上而下的组织体系。


下图是一张通用的企业数据治理组织框架,大多现实中的企业数据治理组织都可以与其映射,我看了华为数据之道的组织,也看了很多央企的,都不出其右,如果你的企业需要建立企业数据治理组织,一定要参考这张图,然后结合实际进行裁剪,这张图考虑的是最全面的。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/32b525652613c37c16660b393d7b8358..jpg


数据治理组织一般分为决策层管理层执行层监督层4个层级,下面主要介绍前3个。


1、决策层


一般会设置数据治理委员会,其是企业数据治理各项重大事项的决策机构,BOSS担任组长,CTO、CDO、CIO等公司管理层在里面担任组员,决策层的职责一般包括:


(1)落实数据治理的相关法律、规定、方针和政策。


(2)负责制定和发布数据治理战略规划。


(3)负责对企业数据治理重大事项进行决策。


(4)负责审批和发布数据治理相关的管理制度、流程及相关标准规范。


(5)负责指导、督促管理层和执行层开展数据资产管理工作,组织、协调跨部门的数据治理重大事项。


2、管理层


数据治理委员会一般会下设办公室,是企业内部组织开展日常数据治理工作并对整个过程进行管理协调的专职机构,主任一般是CTO、CDO、CIO,各相关部门的数据治理负责人担任成员,办公室是主持企业数据治理日常工作的虚拟机构,职责一般包括:


(1)贯彻落实决策层各项决策部署,行使日常数据治理工作管理职责。


(2)负责基于战略制定数据治理规划,并报决策层批准、发布。


(3)负责制定数据治理年度投资计划和工作计划。


(4)负责制定、修订和发布数据治理相关管理办法、实施细则和业务指导书,构建公司数据治理制度体系。


(5)负责制定数据标准并进行监督,规划、构建和管控企业的数据架构,识别并建立主数据应用管理机制,制定数据质量管理要求并进行问题指导和协调。


(6)负责组织制定数据安全基础策略,构建企业级数据安全管控体系,配合监督和审计。


(7)负责受理跨部门、跨机构或重要的数据需求,组织开展数据需求的评审、实施和成果交付工作。


3、执行层


执行层在管理层的统筹安排下,根据数据治理相关制度规范的要求,具体执行各项数据治理工作,各业务部门是本专业数据治理执行工作的责任主体,职责一般包括:


(1)负责落实企业数据战略和规划的相关要求,根据战略规划目标组织具体工作的开展。


(2)负责落实数据治理相关制度规范、数据标准和工作流程要求,确保各项执行工作符合企业要求。


(3)负责根据管理层建立的数据架构落实本专业、本单位的数据架构工作。


(4)负责基于管理层要求落实本单位主数据、数据质量管理、数据安全管理等工作。


(5)负责处理本单位数据需求,开展需求分析、业务逻辑梳理等工作,对交付成果进行效果验证。


(6)负责接收管理层的监督、考评并优化工作机制。


简单来说,管理层负责把规矩定出来并监督考核,决策层判断规矩的合理性并做审批,执行层按照规矩办事,《治理》这本书对组织和职责的描述逻辑清晰,甚至可以直接引用。


经过多年发展和实践,得到业界普遍认可的数据治理组织模式主要有4种,分别为分散模式归口模式半集中模式全集中模式,如下图所示。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/503409d8658ca10d06710e3389c8a8bc..jpg


应该来讲,没有最好的模式,只有最适合企业当前发展阶段的模式,归口模式一定程度兼顾了数据治理工作的统筹管理和业务自主性,是当前各企业较多采用的模式,具备较强的可落地性和可复制性,但对归口部门的专业能力、组织能力、协调能力和管理能力均提出了较高要求,对人力资源的需求也相对较高。


二、制度规范


为了保障组织架构的正常运转和数据治理各项工作有序开展,需要建立一套覆盖数据治理过程的管理制度体系,从“法理”层面保障数据治理工作有据、可行、可控。


根据数据治理组织架构的层次和授权决策次序、数据治理制度框架可分为政策制度细则手册4个梯次,如下图所示:


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/a3dd77ece29e1a0c156b806dd9469a22..jpg


1、数据政策


数据政策是企业数据治理的纲领性文件,是最高层次的数据管理制度决策,是落实数据管理活动必须遵循的最根本原则,描绘了企业实施数据战略的未来蓝图,其内容包括数据资产管理及相关职能的意义、目标、原则、组织、管理范围等,从最根本、最基础的角度规定了企业在数据方面的规范和要求。


华为数据管理总纲就属于数据政策的范畴,其确立了一些原则,比如:


“数据是公司的战略资产,不是部门私有资产”。


“公司数据Owner拥有公司数据管理的最高决策权,各领域数据Owner承担数据工作路标、信息架构、数据责任机制和数据质量的管理责任”。


“谁产生数据,谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准,确保数据源的数据质量”。


2、管理制度


数据管理制度的目的是在基于数据政策的原则性要求下,确保数据治理的管理层对准备开展或正在开展的数据治理各项职能活动进行有效控制,并作为行为的基本准则为后续各角色的职责问责建立依据,其清晰的描述了数据资产管理各项活动中所遵循的原则、要求和规范,各级单位和机构在数据治理工作中必须予以遵守。


数据治理管理制度从形式上包含章程规则管理办法等。


数据治理管理制定一般根据职能域进行划分,与企业准备开展的数据治理实际工作相关。例如“数据标准管理办法”,“数据质量管理办法”,“元数据管理办法”,“主数据管理办法”等,这些文件为数据治理不同职能域建立了规范性要求,内容一般包括目标意义组织职责界面主要管理要求监督检查机制等。



3、数据治理实施细则


数据治理实施细则是已有的企业级数据治理管理制度的从属性文件,用于补充解释特定活动或任务中描述的具体内容,进一步明确后续步骤里的具体方法或技术,或管理制度相关要求与不同业务部门、分支机构实际情况的结合和细化,以便促进特定领域或范围内具体工作的可操作化。


细则可以分为两类,一类是企业级数据管理制度在各业务领域落地的细化要求,这些细则是在企业统一要求的基础上由业务部门本地化定制。另一类是在各分支机构的细化要求。


4、数据治理操作手册


操作手册是针对数据治理执行活动中的某个具体工作事项制定的,用于指导具体操作的文件,是特定活动的执行中需要遵守的操作技术规范,操作手册的内容和形式均不固定,一般包括需要不同角色遵循同样的标准化要求的场景,或多个制度执行活动中共同调用的相关标准,操作手册的内容应当符合管理制度和实施细则的管理要求。


三、执行流程


企业为落实制度规范相关管理要求,针对数据治理具体的职能活动场景,结合企业自身的组织架构制定的一系列规范性和标准化的工作实施和流转过程,有了规范的执行流程,企业内部相关部门和人员就可以按照统一的程序和方法进行数据治理的各项工作,有利于促进相互之间的高效协作,避免出现凭个人经验办事、一人一种做法、工作互不统一的混乱状况。


在具体的执行工作中,数据治理工作包含了众多的业务流程,包括标准和规则的制定、预期的数据清洗、修复、保护、协调、授权等一系列工作流程,这些工作流程又可以被归纳并划分为4个核心流程,包括定义发现实施衡量与检测4个环节,如下图所示:


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/24327d4ac751fab19e3208b4c486d26a..jpg


下面选择数据标准管理流程来详细说明其流程,数据标准管理工作可分为5大阶段,如下图所示:


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/362ccefbefcb4b04a4067d229d73e47f..jpg


数据标准管理工作阶段的具体说明如下:


(1)收集(定义,发现):数据标准管理单位收集和分析数据标准定义的需求,判断是否需要新增或修改数据标准定义。


(2)制定与更新(实施):数据标准管理单位在各业务部门的参与下,初步制定或修改数据标准定义,提交数据治理委员会审核。


(3)审核(实施):由数据治理委员会对新的数据标准定义进行审核;根据审核中提出的意见,由数据标准管理单位进行相关定义的调整。


(4)颁布(实施):数据标准管理单位颁布更新后的数据标准定义。


(5)落实与反馈(衡量与监测):技术部门将数据标准定义落实到具体工作中,在落实过程中发现并反馈存在的问题,在结束之后进入下一个循环。


四、设计机制


为了达成数据治理的工作目标,需要在组织架构、制度规范和执行流程的基础上形成的各类管理保障过程,这就是设计机制的作用。


设计机制通常包括决策机制监督机制认责机制保障机制激励机制沟通机制等,其帮助企业数据治理的管理者有效掌控数据治理各项工作的具体执行情况,激发执行人员的主观能动性。


1、决策机制


决策机制是其他机制的基础,而且又贯穿于各机制的始终。决策机制在组织中主要体现为:决策层审批各项规划、裁决重大争议、审批各职能的管理办法,管理层应统一准备决策所需的材料,执行层应按照管理组织要求提供信息和素材等。


2、监督机制


在执行数据治理各项工作时,需要对执行过程和结果进行监督。监督层出具年度监督计划,根据数据资产管理工作进度,监督数据治理工作是否有效执行,出具监督报告,并保存整改报告或记录文档。


3、保障机制


数据治理工资开展需要依赖技术平台的支撑保障,数据治理相关技术平台的管控需要建立相应的技术规范,技术规范是保障数据技术平台可持续管理的重要基础,技术平台和技术规范将为数据管控的有效运行提供强有力的保障机制,此外,资金的保障也是数据治理保障机制的重要一环。


4、认责机制


根据关键数据治理对象,确定各数据治理对象的最终负责部门,负责数据资产的标准建立、数据质量问题发现和分析、数据资产的日常维护等工作。数据责任应当由参与到数据生命周期中的数据提供者、业务管理者、数据操作方即技术支撑方等角色分担。


5、激励机制


运用多种激励手段可以使各岗位工行为规范化和标准化,决策层应该建立相应的激励机制,并发布明确的激励标准和原则。


6、沟通机制


明确各组织的日常通方式、沟通频次、沟通内容,至少需要包括管理层向决策层的汇报机制和执行层向管理层汇报机制,沟通内容包括但不限于数据治理整体及部分工作开展状况,如数据质量专项提升情况等工作内容。在实际工作开展中,管理层至少应当组织执行层建立月度例会机制,及时掌握各部门和单位的工作进展,讨论和解决实际工作存在问题。


五、绩效体系


企业在既定的数据战略目标下,通过设定特定的衡量和评价指标,对团队和人员已完成的数据治理工作行为及取得的工作业绩进行全面评价,并根据评价结果对团队和人员就未来的工作行为和业绩进行正面引导的过程和方法。企业应构建明确的数据治理绩效体系,制定相应的考核方法,并把数据治理考核纳入企业年度考核。


通常由数据治理归口管理部门负责制定数据资产管理考核目标,在上报企业决策层审批后下发执行,一般可归纳为四个步骤:制定考核方案,确定考核指标,明确考核标准,开展考核评估。


读完了以上,你会发现数据治理跟公司治理是何其相似,麻雀虽小五脏俱全,对于任何想从0到1构建企业数据治理体系的企业来说,一定要先去理解透彻这个框架,理解清楚一些基本的概念,才能抓得住要点,从而找到属于自己企业的数据治理之路。

免责声明:本文来源大鱼的数据人生,仅供读者交流学习,版权归原作者所有,且仅代表作者个人观点,侵删。

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群