博客 分享一个数据资产管理平台建设方案,轻松做好数据资产管理

分享一个数据资产管理平台建设方案,轻松做好数据资产管理

   数栈君   发表于 2022-12-21 11:50  1034  0

数据资产管理服务工作,涵盖企业IT系统生命周期的不同阶段,协助企业建立适合自身特点的数据资产管理制度,提升企业对自身数据资产管理的能力,为后续数据挖掘变现提供可靠、有价值和高质量的数据,提供更好的产品和服务,降低开发和运维成本,控制风险,以及为企业提供更明智和更有效的决策数据支持。

数据资产管理简介


大数据时代已经来临,数据被业界公认为是企业最宝贵的资产之一,其价值得到了普遍认同。然而,绝大部份传统企业在尝试挖掘数据资产价值的过程中,都出现各种各样的问题,如:

数据架构混乱:系统越来越多,系统复杂度也越来越高,管理难度随之越来越大,没人能弄清整个系统的数据架构和数据流向,数据架构与业务流程、应用架构之间的关系不清晰。

架构管理滞后:甲方越来越依赖开发商,自身的系统数据架构管理力度不断减弱。同时,开发商以实现功能为主,对非功能性需求不太在意,导致版本质量不高,先实现后优化,优化效果滞后。

架构变更失控:大多数系统都处于积术式叠代开发,有新需求就加一堆表,使系统数据模型越来越雍肿;数据模型设计缺少审查,导致数据模型混乱、复杂、扩展性差。

数据无序增长:企业核心业务系统数据容量无序增长,长期处于“系统扩容 - 数据膨胀 - 性能低下 - 系统扩容”的怪圈之中。

数据标准缺失:缺少企业级别统一的数据标准,数据模型相关含义令开发和运维人员难以理解;同时,亦使得企业不同应用间的数据集成和数据共享困难。

数据安全突出:对企业的敏感数据、用户、访问权限仍然缺少认识和控制,敏感数据泄漏的安全事件屡见不鲜。

数据质量参差:数据处理环节中产生大量的错误和质量差的数据,数据错误发现和处理流程不及时,导致更多的后续错误。

数据资产管理(Data Asset Management,简称DAM)是规划、控制、和提供数据这种企业资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方案和程序。企业依赖有效数据资产管理为其提供可靠、有价值和高质量的数据,提供更好的产品和服务,降低开发和运维成本,控制风险,以及为企业提供更明智和更有效的决策数据支持。

数据资产管理平台介绍

袋鼠云自主研发的数据资产平台(DataAssets),包含元数据模型定义、元数据采集、数据标准规范、数据建模、数据质量稽核等功能,采集全量的数据中台资产数据,打通数据关系网络,实现数据的标准化和资产化管理,搭建起数据中台的数据资产中心,提供面向数据中台的全域数据治理能力。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/10d82b587a1ef2620e531ba334b22f09..png

数据资产平台(DataAssets)架构图

产品优势

灵活管理企业数据
多种数据管控策略,全面采集、盘点数据,对企业元数据进行统一管理,形成企业级数据资产地图,让企业资产数据一目了然。

提升数据规范性
建设数据标准体系,通过数据模型的自动引入,完成规范的模型设计,保障数据资产质量、快速支撑业务部门运营需要。

全面监控数据质量
通过事前规则配置、事中规则执行、事后质量报告,及时发现问题数据,有效避免问题的影响扩散,帮助企业做好数据治理。

合理量化数据价值
通过分析数据的成本、收益,合理评估每份数据的价值,为数据价值的挖掘提供支持,精准定位业务应用所依赖的数据。


产品功能

全域数据资产管理
统一数据目录及资产上下线,提供元数据的自动采集和更新,规范化数据标准及离线、实时数据模型构建,解决数据口径不一致问题。

统一资源视图
制定资产标签、资产多级分类,提供统一的数据资源视图,可清晰查看元数据详情,包括表结构及血缘关系,让管理者从业务全局视角认知数据资产分析全过程。

流程化资产质量
通过事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据的完整性、准确性、规范性、唯一性、一致性等多维度校验提供20多种质量校验规则,保障企业数据服务。

数据资产运营
帮助企业从计算/存储视角进行资源分析和治理,从使用分析、质量分析、成本分析等维度进行价值评估,保证安全有序的进行对外开放调用。


应用场景

元数据的采集/维护/查询
接入企业的数据仓库、各个业务系统库,采集库表元数据,对接数据中台各个产品应用,获取数据使用的元数据信息,然后在采集的基础上,进行二次规范维护,补充缺失的业务元数据,汇总后提供元数据查询分析服务,以企业全局视角对企业各业务域的数据资产进行盘点,实现企业数据资源的统一梳理和盘查。


数据质量治理提升
建设一站式数据质量管控平台,通过事前规则配置、事中规则校验、事后分析,将数仓、监管报送等数据错误降为0,内置大量常用监控函数,简单配置即可完成规则开发,系统自动定位问题数据,无须人工查询,自动化分析报告,沉淀相关质量问题经验。


数据血缘关系应用

通过自动解析的数据血缘关系,帮助企业简洁直观地发现数据流转关系、数据影响链路,合理订阅并维护用户关注的数据,当上游表结构发生修改时,可实时提醒下游表负责人,避免问题数据传导至下游,当维护元数据信息时,可主动推荐下游关联数据,一键批量维护,避免重复低效工作。


袋鼠云在大数据领域深耕7年,拥有丰富的大数据平台建设经验和成熟的产品体系,想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群