博客 基于数据中台的数据治理解决方案

基于数据中台的数据治理解决方案

   数栈君   发表于 2023-04-27 11:39  271  0

当前很多传统企业的数据中台还处于初步建设阶段,但伴随着移动互联网的逐步发展、线上和线下的融合,数据服务的形式、场景越来越多,业务维度会变得更加复杂,数据中台的建设也会面临更多的挑战,主要表现如下:

数据缺乏标准,难以有效集成与使用

数据中台需要集成内部和外部各个系统的数据,只有建立一致性的数据规范,通过统一的模型容器,才能实现数据的有效整合,避免数据误入“形合神离”的窘境。

数据可信度偏低,导致数据不可用、不敢用

数据中台的数据来源为内部的系统,其数据完整性、时效性、真实性都有待评估和度量,只有在数据中台建立完整的数据质量评估、问题发现、整个的机制与流程,避免数据“垃圾进、垃圾出”,才能不断提升数据中台的数据质量,使数据使用人员逐渐增强对数据中台所到处和展现数据的信任。

数据没有业务视角的展现方式,业务人员不会用

随着企业级数据应用的深入,风险、运营、营销等岗位的业务人员,需要更多的运营数据分析技术,因此了解和掌握数据情况变得尤为重要。而传统的开发人员所用的数据模型或者数据字典,作为一种描述数据的方式和语言,缺乏与业务场景的结合,偏重于技术角度,比较难于理解和应用。

数据不可溯源,跟踪数据处理过程困难

数据中台为了能实现数据整合与高效应用,以及指标计算的复杂性,往往会进行多层的数据处理。而且数据处理的逻辑往往只是在程序或者文档描述中,存在结构化差异,描述不全、不及时、不准确等情况。但数据中台所支持的应用越来越多,采集的数据也越来越多,加工过程会越来越复杂。因此对于数据来源路径分析、数据问题跟踪分析方面,工作量大且极为困难。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7ed8866a11a63397bcdfb57527932fdc..png

从战略、机制、领域、技术等多方面考虑,分层设计企业数据治理体系框架。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b598437cb4e2403785acdf5283c53063..png

一个完整数据治理体系,应包含数据运营的战略,并在战略的指导下构建和设计数据应用与服务体系,数据治理管理领域,数据治理的保证体系等。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1e09b15f861bebf1fbefb862ec109d91..png

数据治理支持保证体系包括数据治理的组织体系,遵从的政策法规,管理制度,管理流程等。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/874538c264cceecbb13c3335c4649a1e..png

数据治理组织体系的建设要点是明确数据治理组织的定义、组织形式、管理内容、岗位分工,职责划分等。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/15decada3f6fc3cbd69825f9ae1206d5..png

参考业界先进的数据治理模型和行业的应用标杆,构建适合企业的数据治理模型。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5f4655339dfeb4466c96b0f94e9a23c2..png

每个企业的数据治理都不是为了治数而治数,背后都是对业务目标的支撑,例如:增效、降本、提质、控险,共享、创新、优化。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9ca67c515b7127aa29aa1db7423a9993..png

数据治理思路可以分为四步走:一是明确数据治理的目标。二是完善数据治理的顶层设计。三是健全数据治理的相关规则。四是从数据整合治理到数据洞察。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/35007191f8d6ad48c9fe5f1b69577174..png

一个完善的数据治理平台一定遵循分层设计模式,大致可分为服务层,平台层,数据层。服务层面向业务用户提供数据服务,平台层提供各种数据治理能力,数据层提供数据的采集、处理、清洗和加工。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/752ecddc038b378e445ead88157ba245..png

数据中台的数据治理技术架构设计主要是在数据中台技术底座的基础之上,构建元数据管理、数据标准管理、数据质量管理和数据安全管理等数据管理功能,以支持实现数据中台的业务数据化、数据资产化、资产价值化。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a8cc24cda4b631a90f8d65cdd2bf0d5a..png

从数据治理专业领域分,数据治理包括数据标准管理、元数据管理、数据质量管理、主数据管理、数据架构、数据模型、数据生命周期管理、数据资产管理和数据安全管理。一个专业领域都需要一套与企业现状和需求相符的数据管理流程。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/c81c3867f89f67ab33a08aa345b30934..png

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7ae9ffa1786e711d88cb7c061fdae237..png

数据标准管理的关键在于梳理数据标准范围,定义数据标准项。功能层面应提供数据标准查询、数据模型监控、数据标准落地评估等功能。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0a0614034776731b2796f5c01963f1cc..png

元数据管理的关键在于技术元数据和业务元数据梳理,并通过业务元数据自动关联技术元数据。功能层面提供元数据查询、影响分析、血缘分析、全链路分析、关联度分析等功能。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e855ed9a393c236a889aab86c3bdfadd..png

数据质量管理的关键点在于数据质量维度和指标的定义。功能层面提供数据质量指标定义,数据质量任务管理,数据质量稽查,数据质量问题分析,数据质量问题统计等功能。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0cce688b0e8fa760ffda9564ea659c74..png

数据集成管理是让数据用起来的重要手段,通过集成工具实现数据的采集、转换、清洗,统一汇集到数据中台形成企业数据资产。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2fcb0f1ac0d5b5d951f8f3b2b1315ead..png

将标准化的数据资产进行服务化处理,形成可复用的数据服务,提供业务使用,支持企业的业务创新。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3b00c8a992eebd506c5254710f266a61..png

数据资产管理提供数据资产目录,数据资产服务,数据资产使用情况监控,数据资产查询等功能。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/811c901bd25e1f2d4deeebd734da50c7..png

数据安全管理需要支持数据的分类分级,数据脱敏,数据加密,数据授权等功能,确保数据的安全合规使用。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/69e486228acd441207b86fb5fdcbf2ca..png

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5f7fefa5187fe08a32ce0a1bc94d6083..png

建议在数据中台加强数据治理,在数据标准、数据质量、元数据、数据安全方面,持续应用数据管理的工具与方法,推进数据治理工作,并将数据治理与数据中台运营管理过程相结合,有效持续提升数据中台的数据质量,加强数据中台服务能力,实现银行数据价值,支撑企业数字化转型。

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

140页深度干货,囊括15个典型成功案例,覆盖金融、集团、政务、制造、港口5大行业,全书从方法论到实践全面解码数据治理,开辟数据治理新范式,丰富内容可免费获取!

免费获取链接:https://fs80.cn/4w2atu

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群