博客 数据资产盘点及治理的路径与方法

数据资产盘点及治理的路径与方法

   数栈君   发表于 2024-08-29 15:46  1089  0

如何有效识别、管理和利用海量数据,以激发其潜在价值,成为当前企业面临的重要课题。本文旨在深入探讨数据资产盘点及治理的路径与方法,通过系统化、规范化的手段,帮助企业构建完善的数据管理体系,实现数据资产的全面盘点与高效治理,进而推动企业在数据驱动的时代中赢得先机,实现可持续发展。

01
数据资产管理体系


1.数据治理、数据资产相关概念定义

数据治理(Data Governance):是组织中涉及数据使用的一整套管理行为,由企业数据治理部门发起并推行。它主要关注如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理的目标是提升数据的价值,并确保数据在整个企业中得到有效的使用和管理。

数据资源(Data Resources):是指企业或个人在运作中累积的各类数据记录,包括但不限于客户记录、销售数据、人事信息、采购记录、财务报表及库存数据等。这些数据是原始的、未经加工的,但却蕴含了大量的信息和潜在价值。

数据资产(Data Asset):是指由个人或企业拥有或控制的,能够为企业带来未来经济利益的,以物理或电子方式记录的数据资源。它是网络空间中的数据集,具有数据权属(如勘探权、使用权、所有权),具有价值、可计量、可读取。近年来,随着数据经济的发展和技术的进步,数据资产的价值逐渐被认可。数据资源被视为一种资产纳入企业财务报表,这为企业利用数据资产提供了更多的机会和方式。

2.DAMA数据治理体系

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/eb273b16d7e517f1a75441d9c5e116a3..jpg

我们要做好企业的数据资产,可以借鉴比如DAMA的数据治理体系。国际数据管理协会 (DAMA) 定义了数据治理是对数据资源管理行使权利的活动集合。它包括了元数据、数据质量、数据标准、数据安全、主数据等8大知识领域,需要对不同的领域做相应的管理,来提升企业的数据各方面能力

3.DCMM数据管理能力成熟度评估模型

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/094252e1eac858bdde84cc76a33cba9b..jpg

DCMM是国家标准《GB/T36073-2018 数据管理能力成熟度评估模型》的英文简称,是我国首个数据管理领域正式发布的国家标准。DCMM分析提炼出了组织数据管理的八大能力域,并对每项能力域进行了二级能力项(28个过程项)和发展等级的划分(5个等级:分别为初始级、受管理级、稳健级、量化管理级和优化级),以及相关功能介绍和评定指标(445项指标)的制定,可作为数据管理的指导规则,也可作为数据管理状况的评估依据。

针对一个组织数据管理、应用能力的评估框架,通过DCMM数据管理能力成熟度模型,组织可以清楚地定义数据管理当前所处的发展阶段和未来发展方向。

4.数据资产盘点和治理框架

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5a62289f19d0ceb6f4396ab448e06b3e..jpg

基于DAMA和数据治理规范的框架标准和指南,制定贴合企业的大数据治理体系框架。我们建议企业按照分层结构去考虑,首先评估一下企业目前都有哪些缺失,再思考我们的治理体系如何去构建,然后明确数据管理哪些方面是需要进行提升的。

参考:企业数据资产盘点与数据标准梳理方法

02
数据资产管理策略

我们建议采纳“1+4+n”的综合性模式,该模式紧密贴合企业既定的整体战略规划,旨在实现双重目标:一是服务于企业的日常运营与管理,二是促进数据资产的深度挖掘与价值变现。

  1个策略

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b673eb0e955e2cdc9f5551b1c7b1ec44..jpg

企业数据资产运营管理“一个策略”的核心意义在于,它紧密围绕数据这一核心要素,旨在将数据的提供者、开发者、消费者、管理者以及决策者有效聚合,形成一个协同共进的生态系统。整合内部与外部数据源,形成统一数据池,通过精细加工转化为实用资产,确保数据规范、可访问,助力消费者便捷获取,最大化数据价值。通过元数据管理智能和人工补录完善的方式盘点全部数据资源,资产目录的活化功能保证目录能及时的反映资产结构的变化。

  4个能力

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/06f928af727c0c691b0ca57df67addaa..jpg

关于数据资产对外提供,需构建四大核心能力:数据集成能力、治理能力、资产规划开发能力、资产服务运营能力。首先整合数据资源,提升数据质量;其次进行盘点资产,定制化开发数据产品;最后构建类似电商的数据运营平台,方便消费者获取。内部需完善数据接口,确保顺畅流通。这些措施共同推动数据资产价值的最大化。

  N个场景

我们需在企业内部积极构想并构建多样化的业务应用场景,首要任务便是对原始数据进行系统性分析,以揭示其背后的价值与潜力。以客户分析为例,可依托现有数据资源,并适当引入外部数据源,通过全面深入的分析,构建出客户的360度全方位画像。这一画像不仅详尽描绘了客户的个人特征,还能为后续的精准营销、个性化服务提供有力支持,并促进画像数据的广泛应用与共享。

  项目实施路径规划-九步走

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/aab67de9bb08fe28e15f7957dea076c1..jpg

要真正去做数据资产盘点和治理的时候,大概可以分成九步走:

首先就是要调研企业的数据有哪些内容,目前存在什么样的数据问题,然后根据治理动作来制定相应的蓝图;同时企业也要建立相应的管理组织,然后摸清整个企业的数据现状,进行相应的数据标准、数据质量、数据安全等能力的提升,建立起闭环式的覆盖数据治理咨询规划、方案制定、执行和评价的数据治理统一流程。

03
数据资产管理平台

数据资产管理平台,致力于提供一套自下而上的综合能力体系。该平台首要任务在于广泛采集来自各类业务系统的数据,随后对这些数据进行严格的标准化处理与质量提升,确保数据的准确性、完整性与一致性。在数据资产编录与编目环节,依据企业实际运营情况,采用人财物等多维度分类方式,并结合职能部门的组织结构,对数据进行精细化划分与管理。最后,通过高效的接口服务机制,将整理好的数据资产以标准化的方式对外提供,满足企业内外部用户的数据需求。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/54725472df86915b748e14f3540a0701..jpg

△数据资产管理功能框架

如何去实现一套数据资产管理业务流程呢,数据资产管理平台基于企业数据资产管理业务需求,通过数据采集、主数据、元数据、数据标准、数据质量、数据安全、数据资产管理、数据服务、数据可视化等全流程治理,实现数据价值提升。

  数据集成

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a85db86fefea0d05f415484ef35f464a..jpg

实现对企业各业务系统、各类数据源的采集、加工、清洗、转换等处理,是后续企业数据中心、数据资产治理的基础。数据资产平台提供可视化数据加工、数据脱敏和加密、数仓模型处理组件等功能,构建数据采集、处理能力。

  元数据管理

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7c718c51cf7c80ab848fb4b1f718db17..jpg

基于企业系统现状,通过元数据管理采集各系统元数据,构建数据字典和地图,实现包括血缘、全链等多维度分析,并为数据资产盘点提供基础。以供应商元数据为例,它详尽记录了供应商信息、产品详情及采购活动,清晰描绘数据流转路径,反映了从供应商录入到支付完成的全过程。这一过程不仅揭示了数据在企业内部的流转情况,还帮助识别关键数据资源。进一步,基于元数据分析,企业能优化供应商管理,减少资源浪费,同时加强与优质供应商的合作,提升供应链稳定性和效率。

  主数据管理

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0a299b7ea41090546e550a6163bbc190..jpg

主数据因其重要性和广泛适用性,成为企业数据资产盘点的优先对象。通过有效的主数据管理,企业能够更精准地掌握数据资源,为数据资产的优化配置奠定基础。然而,在主数据管理过程中,企业常面临数据准备与流向的诸多挑战。物料编码混乱(一物多码、一码多物)、人员数据更新不及时等问题时有发生,严重阻碍了数据的准确性和一致性。为此,企业需要建立统一的主数据管理平台,实现数据的集中管理与分发,以确保各系统间数据的同步与共享。

  数据标准管理

数据标准管理,是通过对数据字典及表结构的精细定义与规范,来实现对数据的有效管理与质量提升。这一过程通常基于国家及行业既定标准,并结合企业自身的业务需求、技术实现及管理实践,对数据库表结构进行详尽规划。具体而言,它涉及对人员信息(如姓名、性别等)、物料数据(如编码规则、时间精度等)的明确界定,以确保数据的一致性与准确性。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ec45bb522ee98544533f9240009be8e2..jpg

在此基础上,企业可借鉴行业内的成熟标准,构建专属的数据标准目录。该目录不仅为现有系统提供了明确的执行准则,还为规划中的系统建设提供了表结构设计与字段定义的参考模板。如此一来,无论是系统的日常维护还是新系统的开发建设,都能有效遵循统一的数据标准,从而大幅提升数据管理的效率与规范性。

  数据质量管理

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/6b51789df3a26cdd5d153fbae3ba9379..jpg

探究数据质量问题的根源,往往涉及多个层面,包括标准缺失、人员操作不当、流程缺陷以及技术限制等。以业务系统数据录入为例,若界面校验规则设计不严谨,便可能引发一系列数据质量问题。如手机号码录入时,虽要求11位数字,但缺乏有效校验机制,导致录入错误或无效号码,此类问题虽看似微小,实则对数据质量构成潜在威胁。

  数据资产盘点与目录

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e7259b6df093b6d25ca43a5aefc1f02e..jpg

前述的数据标准、质量、元数据等管理,其终极目标是服务于数据资源的全面盘点与目录体系的系统梳理。从企业视角出发,我们需多维度、多层次地审视数据资源,明确其来源主题、系统归属、职能关联、业务部门及所属行业等属性。同时,还需区分数据类型,如清单数据、报表数据、接口服务等,并识别数据的结构化、非结构化或半结构化特征,如视频记录、实时数据流、客户信息等。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ae1fc14c0a84693a89945321fda34577..jpg

为实现数据的有效利用,首要任务是依据既定维度对数据进行细致分类。在此过程中,可借鉴华为等领先企业的数据管理实践,如L1至L5的数据层级划分,重点关注企业内各数据库的实际数据内容。以客户数据为例,需深入剖析客户信息的存储方式,涵盖基本信息、注册资料、银行信息等,并追溯这些信息的来源与构成。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1d646a75e8d81c52c618fdea316787a8..jpg

完成数据分类后,需进一步评估数据的安全性与开放性。这要求参考数据安全等级划分标准,结合政务、行业等特定领域的分类维度,以及数据的公开性、内部性、敏感性等属性,构建数据开放与共享的决策矩阵。通过此矩阵,可明确哪些数据在脱敏后可对外公开,哪些数据仅供内部使用,以及哪些数据需严格保密。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/dd8732b8000e34feab147c1ce06aaf6e..jpg

在数据呈现方面,可借鉴超市货架或图书馆检索系统的模式,构建直观、便捷的数据资产检索平台。用户可轻松查询数据资产的表结构、元数据属性、管理责任人等信息,为数据使用提供充分的信息支持。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/c063ea4055be2af608b198f836fb80f5..jpg

对于数据的使用,企业需结合平台能力,提供多样化的业务分析场景,如数据查询、下载、交换及在线自助分析等,并可通过API接口实现数据的外部开放,类似于企查查等平台的数据服务模式。此外,企业还需构建内部指标体系,以指标和分析方式为基础,满足运营、管理及决策层对数据的需求,促进企业内部管理的精细化与智能化。

参考:46页PPT | 数据资产目录建设方案

04
典型案例分析

公司介绍:本案例聚焦于一家国有资产管理公司,其作为某高新区管委会下属的大型集团企业,负责多元化业务的运营与管理。公司架构复杂,既包含集团层面的多个管理部门,又下辖多个子公司,各子公司业务各异,涵盖园林绿化、酒店服务、商业会馆、回迁小区及底商等多个领域,展现出丰富的业态布局。

背景痛点:在集团层面,若缺乏对这些分散业务数据的统筹管理,将不可避免地导致“各自为政”的局面,严重影响数据的整合利用与决策支持效率。例如,会展中心作为公司的重要业务单元,每周举办各类展会,吸引不同行业的参与者。这些活动不仅关联到酒店住宿、短租公寓等周边服务的需求预测,还影响到公园游览、商超购物的客流量变化。因此,各子公司间对彼此核心业务数据的迫切需求,凸显了集团层面进行数据治理的重要性与紧迫性。

实践过程:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e076e7651db68d6b3f5802d2477ebbec..jpg

为破解数据孤岛问题,公司从主数据入手,对内部的人事、财务、物资等关键资源进行了系统梳理,并延伸至客户、法务、展会等多个业务领域,实现了数据的全面整合与标准化处理。通过这一过程,不仅明确了数据的定义、内容与结构,还大幅提升了数据获取的便捷性与准确性。以往依赖邮件等低效沟通方式获取数据的历史被彻底改写,取而代之的是基于平台的线上管理模式,实现了数据的即时共享与高效利用。

应用成效:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8386c97f173ca89e6e193f8b78a8e29d..jpg

在数据治理的推动下,公司内部各业务系统的数据资产得以清晰呈现,为数据申请与使用提供了有力支持。以会展中心为例,其核心数据如展会类型、时间、参与者信息等均可通过平台快速获取,为商管公司、酒店等提供了精准的服务支持。这一变化不仅促进了公司内部的运营效率与收入增长,还显著提升了客户服务体验,实现了企业价值与客户满意度的双重提升。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/90aa69bb60f6d63e93fbcfc945716a42..jpg
△数据治理大屏展示

为进一步提升数据治理的透明度与影响力,公司还设计并实施了数据治理大屏展示系统,涵盖从标准制定、质量控制到资产管理的全方位信息,为领导层提供了直观、全面的数据治理概览。这一举措不仅增强了管理层对数据治理工作的认识与重视,也为后续的数据治理优化与决策提供了有力支撑。

内容为转载,如侵删

《数据资产管理白皮书》下载地址:https://www.dtstack.com/resources/1073

《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001/?src=bbs

《数栈V6.0产品白皮书》下载地址:https://www.dtstack.com/resources/1004/?src=bbs

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群