声明
本文是学习数据资产管理实践白皮书. 而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们
四 . 数据资产管理实践步骤
本章定义了一种数据资产管理实践的通用步骤:“统筹规划→管理实施→稽核检查→资产运营”。需要说明的是,各步骤之间并无严格的先后顺序,组织可结合自身情况在各阶段制定合理的实施方案。
图 18 数据资产管理实践步骤
( 一 ) 第一阶段:统筹规划
数据资产管理第一阶段是统筹规划,包括评估管理能力、发布数据战略、建立组织责任体系三个步骤,为后续数据资产管理和运营锚定方向、奠定基础。
第一步是盘点数据资产,评估数据资产管理能力。 利用技术工具从业务系统或大数据平台抽取数据、采集元数据、识别数据关系,可视化包含元数据、数据字典的数据模型,并从业务流程和数据应用的视角出发,完善包含业务属性、管理属性的数据资产信息,形成数据资产地图。此外,从制度、组织、活动、价值、技术等维度对组织的数据资产管理开展全面评估(如表 5 所示),将评估结果作为评估基线,有助于组织了解管理现状与问题,进一步指导数据战略规划的制定。
评估维度 评估要点
制度 数据资产管理制度体系的完整性、规范性、指导性;流程管控和优化能力
组织 组织、角色、职责合理性;数据责任体系的完整性;
活动 活动职能全面性、整体性;各项活动职能交付物的合理性、准确性、规范性、完整性;记录和优化各项活动管理过程能力;数据资源化程度(包括数据质量优劣、数据安全性等)
价值 数据服务、数据应用、数据流通、数据价值评估、数据运营能力
技术 大数据平台、数据资产管理技术工具相关性能、功能完备程度、一体化程度;云计算、AI、隐私计算等关联技术储备程度
表 5 数据资产管理能力评估维度及要点
第一步的主要交付物包括 :数据资产盘点清单、数据架构或数据模型、数据资产管理现状评估报告、数据资产管理差距分析报告。
第二步是制定并发布数据战略 。主要是根据数据资产管理现状评估结果与差距分析,召集数据资产管理相关利益者,明确数据战略规划及执行计划。同时,为适应业务的快速变化,采用相对敏捷的方式开展数据资产管理工作,定期调整数据战略短期规划与执行计划。详细阐述见第四章第一节。
第二步的主要交付物包括 :数据战略规划、数据战略执行计划。
第三步是建立组织责任体系,制定并发布数据资产管理制度规范。 从数据战略规划出发,构建合理的、稳定的数据资产管理组织架构,以及具备一定灵活性的数据资产管理项目组,确定数据资产管理认责体系,并制定符合战略目标与当前实际情况的数据资产管理制度规范。详细阐述见第四章第二节、第三节。
第三步的主要交付物包括: 数据资产管理组织架构图、数据资产管理认责体系、数据资产管理相关管理办法。
( 二 ) 第二阶段:管理实施
数据资产管理实施第二阶段的工作目标 主要是通过建立数据资产管理的规则体系,依托数据资产管理平台工具,以数据生命周期为主线,全面开展数据资产管理各项活动,以推动第一阶段成果落地。详细阐述见第二章第一节。第二阶段管理实施的开展主要包括建立规范体系、搭建管理平台、全流程管理、创新数据应用四个步骤。
第一步是制定组织级数据资产标准规范体系,建立各活动职能的实施细则与操作规范。 组织级数据资产标准规范体系指各活动职能下对数据技术设计、业务含义的标准化。以结构化数据为例,标准化的对象包括字段、表以及表间关系,对于各对象的标准化内容如表 6 所示。此外,结合数据资产管理相关管理办法,形成各活动职能的实施细则、操作规范,为数据资产管理的有效执行奠定良好基础。
数据资产管理活动职能 标准化对象
字段 表 表关系
数据标准管理 数据元定义 表命名规则 技术规则、业务规则
数据质量管理 字段级质量规则(准确性、有效性) 完整性 一致性
数据模型管理 属性定义 实体定义、数据字典、表结构设计 关系、约束
元数据管理 字段名 数据表名 数据血缘
数据安全管理 字段级安全规则 表级安全规则 数据安全架构
表 6 数据资产标准规范体系示例
第一步的交付物主要包括 :数据资产管理活动职能相关标准规范、实施细则、操作规范。
第二步是搭建大数据平台,汇聚数据资源。 根据数据规模、数据源复杂性、数据时效性等,评估平台预期成本,自建或采购大数据平台,为数据资产管理提供底层技术支持;设计数据采集和存储方案,根据第一步的数据资产标准规范体系,制定数据转换规则,确定数据集成任务调度策略,支持从业务系统或管理系统抽取数据至大数据平台,实现数据资源的汇聚;结合云原生、AI 等技术提升资源利用率,降低数据资产管理的资源投入和运维成本。
第二步的交付物主要包括 :大数据平台、数据汇聚方案与记录。
第三步是依托统一管理平台,实现数据资产的全流程管理。 构建统一的数据资产管理平台,使各活动职能相关工具保持联动,覆盖数据的采集、流转、加工、使用等环节;由数据资产管理团队组织开展数据资源化活动,对于每一项活动,在数据需求中明确和记录数据使用方的规范与期望,在数据设计中支持规则的落地与应用,在数据运维根据数据生产方业务和数据的变化,响应数据使用方规则与期望的调整,并及时发现和整改问题数据。
项目是执行组织级数据资产管理的最小单元,良好的数据资产项目管理是基础 ,类比 IT 项目管理框架,主要从目标一致性、角色合理性、范围明确性(包括业务范围、数据范围、技术范围等)、风险可控性、成本可计量、质量可优化等方面考虑(如图 19 所示)。
图 19 数据资产项目管理要点
第三步的交付物主要包括 :数据资产管理平台、数据资产生命周期操作手册、数据资产项目管理操作手册、数据资产管理业务案例。
专栏五:敏捷式数据资产管理
数据资产管理是一项长期性、复杂性工作,敏捷化的管理模式将有效节约人力和时间成本。敏捷式数据资产管理主要包括形成敏捷组织、建立敏捷机制、采用敏捷技术三个方面。
敏捷组织 包括数据资产管理项目办公室、敏捷项目组两部分。数据资产管理项目办公室可下设于数据资产管理委员会,指导在数据项目中建立跨层次、跨部门、跨团队的团队,负责定期开展数据项目复盘,建立业务案例。建敏捷项目组是针对具体的数据项目,根据数据资产管理角色与职责,从实体部门选择合适人员组建而成。通常来说,项目人数控制在 5-7 个以内会最大化协作和沟通的效率。同时,数据项目经理除对项目负责外,也对组织级数据资产管理负责,这意味着项目经理需与包括 CDO 或数据架构师等角色保持良好合作。此外,利用 Jira、
Slack 等协作工具,以及项目管理工具,提升项目组内各方的沟通合作效率。
敏捷机制方面 是指充分利用技术工具,及时响应数据消费端的需求,并在提供数据服务过程中与数据消费端保持良好沟通。例如,在数据产品上线后采用 A/B 测试方式,根据用户反馈优化产品。此外,在统一组织级数据资产管理制度体系下,敏捷项目组根据项目特定需求,通过快速运行、快速试错的方式,迭代数据资产管理操作细则与标准规范。
敏捷技术方面 是指将DevOps对于软件开发的敏捷技术要求用于数据生产,支持数据设计、ETL、CI/CD、部署、交付、运维等环节的处理敏捷性。一是通过设计数据开发流水线,定义数据开发环节与流转业务逻辑。二是依托数据管道,根据数据开发流水线,实现数据的自动化采集、转换、加载,并对数据管道中的任务代码、程序进行版本管理和运行监控。三是部署自动化测试套件支持持续集成 / 持续开发 (CI/CD),并利用低代码开发、灵活配置模板、可视化任务编排等方式,提升数据开发、测试和部署的效率。四是持续利用元数据对数据模型、数据标准、数据质量的应用进行检查,使用修复工具进行异常处理,以保证交付数据的可信。五是通过监控数据管道中数据、任务、程序、代码的执行与质量情况,支持回溯和审计。
广东移动引入敏捷技术,提升数据资 图 20 敏捷式数据资产管理示意图产开发者的工作效率。可视化数据开发,针对代码开发能力不足、代码开发周期长等问题,可视化数据源配置、任务编排等环节。同时,通过模板复用、一键调度以及转换编排页面,缩短数据开发时间。构建轻量级测试环境,通过持续集成 / 持续开发 (CI/CD),在数据生产的各个环节对输入输出和业务逻辑进行自动化测试,包括数据口径、表格式、表属性等,以确保质量稳定。此外,在测试环境提供轻量级的数据量,辅助数据测试人员快速验证程序与结果,提高数据测试效率。自动化部署,实现自动从测试环境中获取数据模型、代码配置,并以增量迭代的方式迁移至生产环境,大大节约了从测试环境到生产环境的测试和部署工作的人力成本。
第四步是创新数据应用,丰富数据服务。 组织应加强数据应用和服务的创新,围绕降低数据使用难度、扩大数据覆盖范围、增加数据供给能力等方面开展。通过数据可视化、搜索式分析、数据产品化、产品服务化等角度降低数据使用难度;通过数据“平民化”(如自助式数据分析、数据应用商店、数据超市等),使更多一线业务人员直接参与数据分析过程;通过数据消费者、数据生产者之间灵活的角色转变,增加数据的供给能力
(如形成数据众筹众享模式)。
第四步的交付物主要包括 :数据应用产品清单、数据应用服务操作手册、数据应用服务用户指南。
( 三 ) 第三阶段:稽核检查
组织在第二阶段基本完成由原始数据到数据资源的转变,第三阶段稽核检查关注于如何评价数据资源化成果、改进管理方法,该阶段的主要目标 是根据既定标准规范,适应业务和数据的变化,通过对数据资源化过程与成果开展常态化检查,优化数据资产管理模式与方法。
标准规范是常态化检查的基础与前提 ,主要包括数据模型与业务架构和 IT 架构一致性、数据标准落地、数据质量、数据安全合规、数据开发规范性等。平台工具是常态化检查的有效方式,相较于人工操作,节约人力物力,确保检查结果准确性,提升检查效率。定期总结、建立基线是常态化检查的关键过程,对检查结果进行统计分析,形成检查指标与能力基线,评价数据资源化效果,与相关利益方、参与方确定整改方案,持续改进管理模式与方法。
第三阶段主要交付物包括 :数据资产管理检查办法、数据资产管理检查总结、数据资产管理检查基线。
专栏六:保持业务、数据、IT 的一致性
数据作为组织的资产,在组织的业务发展中扮演着重要作用。数据产生于业务,由 IT 建设承载,因此,实现业务、数据、IT 的一致性,是数据资产管理长期良好运行的基础,也是数据资产管理稽核检查的要点。
中国工商银行通过企业架构管控实现了业务与 IT 的一致性。企业架构管控 从全行视角进行业务整体规划,引入企业级业务架构建模进行业务架构设计,对业务进行端到端的价值链分析,推动业务建模标准化。同时,以建模成果为指导对各 IT 系统现状进行对接分析,基于对接分析结果,采用工程统一计划与具体业务项目结合的方式推进落地。此外,搭建了架构资产管控系统,通过承接企业战略、业务架构、IT 架构等架构资产和模型,实现全行架构资产的合理布局和集中管控,建设架构资产管控完整工具链,支持项目研发工具链各系统与架构管控平台进行联动对接,实现架构资产的全流程管理和维护。从 2019 年至今,企业级架构资产管控的成果已应用于个人账户、对公存款等核心业务领域。
中国工商银行在业务建模的基础上,将数据作为衔接业务与 IT 的桥梁,实现了业务、数据、IT 的一致性。一方面 ,通过在架构资产管控系统基于企业架构和业务模型,依据相关标准规范,设计企业级数据模型,实现业务与数据的一致性。另一方面,在研发与测试管理系统进行 IT 项目需求分析,确认 IT 项目涉及的业务,并通过架构资产管控系统与元数据管理系统联动,完成物理表及表间关系的注册、开发与维护,实现数据与 IT 的一致性。
( 四 ) 第四阶段:资产运营
在前三个阶段的基础上,组织具备向数据资产转变的基础。数据资产管理的第四个阶段是资产运营阶段 ,该阶段的主要目标是通过构建数据价值评估体系与运营策略,促进数据内外部流通,建立管理方与使用方的反馈与激励机制,推动数据资产价值释放。详细阐述见第二章第二节。
构建数据运营中心,充分发挥数据团队对业务部门的辅助作用。 数据团队提供包括自助式数据服务、AI 模型等在内的支持,并通过定期宣导与培训,提升业务部门的数字技术能力。此外,以场景化数据资产运营为出发点,鼓励业务部门的数据资产使用各方使用相关平台探索数据,共享探索成果,提出改进建议。
建立用户视角下的 SLA(Service-Level Agreement,服务等级协议),并进行持续评估和改善。 区别于传统分布式大数据平台视角下的 SLA,数据资产管理 SLA 的目标是为各数据使用方持续、及时提供高质量数据和服务,SLA 的核心指标包括可靠性、实时性、质量要求等,贯穿数据资产管理全生命周期,覆盖数据资产管理各项活动职能,由保障措施提供基本支持,并通过采集和分析相关平台的运行日志,记录 SLA 的“断点”,改善数据资产服务的流程。
数据、业务和技术部门协同确认投入产出比(Return on Investment,ROI)指标,测算数据资产管理的成本和收益,提高数据资产管理的投入产出比。 以南方电网为例,通过基于“责权利、量本利”的数据资产管理体系建设与应用实践,取得了良好的经济效益,通过对数据管理实践中节约的问题发现成本、问题解决成本,数据供给与利用实践中节省的人力成本、降低的服务成本,以及数据流通交易的经济收入、交易额等进行测算与量化管理,不断提高数据投入产出比率,累计为公司节约成本 3.72 亿元,带来经济收入 0.17 亿元,促成交易额 132 亿元。
第四阶段主要交付物包括 :数据资产服务目录、数据资产价值评估体系、数据资产流通策略与技术、数据资产运营指标体系。
————————————————
版权声明:本文为CSDN博主「glb111」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/glb111/article/details/130374532
免责申明:
本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!
《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack