博客 一文讲清怎样梳理数据资产?

一文讲清怎样梳理数据资产?

   数栈君   发表于 2023-07-13 10:40  555  0
大数据在中国的大地上蓬勃发展,带动了许多新的理念的诞生,数据治理就是其中之一,这两年已建立好的数据中心或者正在建的数据中心都在如火如荼的进行。

在企业内部,也已经开始由原来的业务部门和IT部门演变出来数据管理部门,通过开展数据管理办法、制定数据标准、保证数据质量、维护数据架构、提供平台与工具等工作作为数字化转型的基础设施,数据治理已经成为数据团队履行数据职责的重要手段。

目前很多大数据公司都推出了很多数据治理相关产品,相信这些工具和平台也会越来越成熟,数据治理相关工具本身不是数据治理最难的问题,针对企业目前在数据管理方面存在的问题主要还是业务规划咨询,针对企业数据架构进行规划,如何构建企业数据管控体系,实现数据全生命周期的统一管理,建立数据标准与规范,提供全面、统一的数据服务,灵活支撑业务,为企业精细化管理提供保障,为企业发展创造价值,提升企业运营与管理能力,打造企业核心竞争力。

针对企业数据架构进行规划咨询,整个过程基本上主要分为以下几个阶段来推进工作:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/de7d8151f5e50d1bdb3d00b7d83d0aa2..jpg

在第一阶段统筹规划中建设组织责任体系,首先是把主要工作职责定义好,这个是做任何事情的前提。

数据治理组织责任体系大致分为:数据治理委员会、数据管理部门、数据生产部门(业务部门)、数据消费部门(业务部门、客户)、数据开发部门(如果很多企业没有该部门,一般进行招投标来完成IT厂商的选定)。针对各组织体系运行的认责机制流程参考如下图所示:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/051b7c63ce7cac113204e4d83837ca56..jpg

明确了相关组织责任体系后,接下来就是如何完成数据标准的制定,这是目前企业数据管理部门最头痛的问题。

一般企业做这项工作至少需要4-5个人,同时牵头组织人还需要具备以下技能:
  • 掌握业务,如果不懂,组内必须有人要懂
  • 熟悉有哪些部门,每个部门的职责是什么
  • 针对数据库有比较深的理解
  • 针对数据架构有比较深的理解
  • 针对数据治理实施方法论有比较深的理解

数据治理组织是依据业内的业务经营理念、业务战略、IT战略以及数据战略共同的推动,结合企业实际的情况形成实施数据治理的有效保障,尽管各家企业形式、归口部门及人员设置有所不同,但组织的形成是建设数据治理长久机制的基础性工作,从一定程度上来说,组织建设是“人”的建设。它激发了组织活力,保障数据治理日常化和持久化。

说完数据治理组织,然后说下数据资产盘点和制定数据标准,事实上,数据资产盘点和制定数据标准是相铺相成的。

传统意义上的资产盘点是指对资产进行定期清点,以确定各种财产在一定时间的实存数。数据资产盘点则是对企业拥有的数据进行清点,已确定企业当前拥有的数据。数据资产盘点将帮助企业弄清以下问题:
  • 企业有多少数据?
  • 企业有哪些数据?
  • 企业的数据价值如何?
  • 企业的这些数据分布在什么地方?最有价值的数据存储在什么位置?
  • 企业数据的归属和责任人是谁?

数据资产盘点的成果是数据资产清单或数据资产目录,它能从全局层面直观的展现企业拥有的数据资产情况,帮助企业进行更有效的数据利用和管理,明确企业的数据保护目标,协助企业完成数据安全保护体系的构建。

企业的数据资产盘点,应该以数据价值为导向,以统一标准为核心。因此,在进行数据资产盘点前,我们需要明确以下几点:
  • 企业在日常经营活动中,积累了体量庞大的数据
  • 只有可控的、能为企业带来利益的数据才是数据资产
  • 数据使用和保护的前提是知道有哪些数据、在哪里
  • 统一的数据定义和价值标准,将有利于数据的使用和管理
  • 明确数据的归属,将为跨业务的数据使用和数据安全保护落实提供便利

下面介绍数据资产盘点的方法和步骤,主要归纳为6个阶段:构建数据标准、数据发现、数据定义、分类分级、明确归属、数据资产目录。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/536d673c2120b723fc6cbc4712975185..jpg

(1)构建数据标准
企业的数据往往来源于各个业务,而各业务的数据来源、数据定义和价值标准,可能存在极大的差别,这将不利于数据的整合、全局管理和使用。因此,企业在进行数据资产盘点前,首先要根据企业所在行业的相关标准,结合企业自身的业务情况构建数据标准,形成全局统一的数据定义和数据价值体系。数据资产盘点工作,将在此数据标准的指导下展开。

(2)数据发现
数据发现是解决数据在哪里、有多少的问题。随着企业的业务不断发展,数据量将呈指数级上升,这些数据可能散布在各个角落。数据发现就是从全局出发,系统性的扫描企业内的数据资产,确定数据存储的位置和数据量,形成数据的存储分布地图。数据发现的核心在于全面、系统的扫描,以避免出现数据遗漏的情况。

(3)数据定义
数据定义是解决有哪些数据的问题。针对扫描的数据存储位置,需要对数据进行识别和定义,标记数据内容,并基于数据内容和存储方式,明确数据的组织结构,形成库-表-字段的数据框架,即明确库中有哪些表、表内有哪些数据,结合数据发现的成果,绘制数据资产地图,将数据的存储位置、存储内容、存储量清晰的进行呈现。

(4)分类分级
分类分级是解决哪些数据有价值、数据价值高低的问题。数据的分类应该基于业务,数据的分级应该基于价值,数据的分类分级应该构建的数据标准指导下进行。通过数据的分类分级,对发现定义的数据进行数据价值和重要性层面的全面梳理和标记,为数据使用、价值挖掘、数据保护提供价值依据。

(5)明确归属
通过调研、业务关联、存储对象关联等方式,确定数据资产的业务归属和责任人,有助于掌握数据的来源和去向、明确相关责任归属,为跨业务的数据使用、数据关联分析、数据分类保护等提供目标和责任指向。

(6)数据资产目录
数据资产目录是数据资产盘点的最终成果,也是数据资产管理的第一步。它将企业内的所有数据进行汇总,构建出一张全局的数据地图,清晰的展现出企业拥有的数据内容、数据量、数据价值、数据存储位置以及数据归属和责任人,帮助企业掌握其拥有的所有数据及数据价值,为企业进行数据使用、数据价值挖掘以及数据保护提供指导依据,同时指导企业进行数据规划和数据体系搭建。

有人会问,那到底如何开展上述工作呢?为了摸清企业有多少个业务系统、每个业务系统里面有多少张表、业务系统中的业务表哪些是空的、分别有哪些部门在使用和产生数据等问题,首先需要制定一个数据资产调研表,下图为政务信息资源目录调研表模版表,面向政府部门的:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/59b4a8f03d7f1fc4f9ea7cd091a323f9..jpg
(点击查看高清原图)

下图为某高校的数据标准模版表,面向企业的可以参考: 

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1808dea30febbe2d10b553c228912310..jpg
(点击查看高清原图

依据上述调研表的信息按业务主题域进行数据分类、识别相关实体、构建数据模型,规范主数据与编码规则。

如何针对业务主题域进行分类?首先要知道企业的业务经营范围和相关职责是什么,就是搞清楚企业业务,比如政务资源里面把信息分成人口、法人、宏观经济、空间地理等分类;法院体系把人、案件、车辆、办公进行业务主题分类。

如何查找实体数据?实体数据在数据库进行存储的时候,主要有以下几大特性:
  • 数据更新频率低
  • 数据访问频率高
  • 数据有唯一性
  • 许多表引用该表信息

这些信息其实可以根据程序进行一次数据探查,可以大致判断出实体数据是哪些表,得到一个需要人工进行调整的ER关系进行手动打标,如果是人工的话就应该是调查加操作sql语句来判断相关情况。完成实体数据定义后,同步的行为表、数据字典表也可以进行整理出来,在整理过程中相关的数据模型也同步形成。

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群