博客 很多人在聊的数据中台,在2022年是否有了新定义?

很多人在聊的数据中台,在2022年是否有了新定义?

   小美   发表于 2022-11-21 15:10  353  0

一、什么是数据中台

数据中台发展火热,很多关于数据中台的概念也纷纷抛出,在真正的应用数据中台实施中台战略之前,对于企业的管理者而言,一个必须思考的问题就是:什么是数据中台?

数据中台最早提出来是为了实现数据的分层和水平解耦,提供全域的数据服务。主要包括以下 4 部分:数据资产、数据治理、数据模型、数据服务。打通数据建模对全域数据进行沉淀形成数据资产,从而提供统一的数据服务功能。

数据时代,数据价值的最大化需要在融合的前提下才能更好地发挥出来。数据中台首先通过统一的标准把分散在各个地方的数据归集、融合到一起进行数据治理,再将治理结果进行数据资产化,资产化要求可归类、可定价、可管理、可审计,然后再使资产进行增值,让数据价值充分发挥。当完成数据的盘点、规整与统一后,我们就能够以数据与技术为手段,重塑工作的各个环节,让 “数据业务化、业务数据化”,助力企业构建数据资产化和应用增值的战略体系,提高企业运营效率。

归纳而言,数据中台的价值是对企业资产的一种重构,或者说是对于企业资产的一种重新定义。有了全新的资产以后,企业便能产生更大的效益。

二、建设数据中台的基本要求

通过对数据中台的溯源分析我们可以看到,不管什么样的数据中台战略或者数据中台建设方案,都必须满足以下几个基本要求:  

首先,数据中台建设方案能否助力企业实现数字化转型,建设卓越的数字企业,实现降本节费提质增效的目的,这是衡量数据中台建设方案的终极标准。  

其次,数据中台建设方案能否助力以用户为中心的持续规模化创新,数据中台建设想方设法持续提高企业对于用户的响应力和规模化创新能力。  

第三,是否有能力沉淀。数据中台弥补创新驱动快速变化的前台和稳定可靠驱动变化周期相对较慢的后台之间的⽭盾,提供⼀个中间层来适配前台与后台的配速问题,沉淀能⼒,打通并顺滑链接前台需求与后台资源,帮助企业不断提升用户响应⼒。  

第四,是否有技术积淀能力。数据中台基于统一能力框架 (UCF) 的产品及服务重构,体现了数字化时代业务创新的关键要素,如实时计算、离线计算、实时数仓、数据血缘、流式计算、分布式开发、数据标准、数据可视化等。  

三、如何建立数据中台

建设数据中台主要就是从数据模型、数据资产、数据治理、数据服务四部分出发。

首先需要做整体规划,哪些数据需要纳入到数据中台中,根据数据接入的情况,进行技术选型,评估集群的配置,规划至少 3 年的计算和存储资源。

1、数据模型

模型建设是数据中台的重要部分,可以说数据中台的成败在于模型建设的好坏。模型分为我们常指的数据仓库的分析模型和我们的一些通用算法模型。

数据接入到数据仓库中,我们需要对数据进行加工,按照我们规划的业务域,对各个业务的数据汇总聚合,形成我们的数据模型。

原始数据 ODS,经过清洗成为数仓中的明细数据 DWS 和维度数据 DIM,各个业务的明细数据按照业务域和维度数据关联形成我们的数据模型 DW,不同的 DW 经过聚合形成各个业务指标数据 APP 层。

在数仓的建设中我们声明业务粒度,粒度能够精确的表明业务含义。同时还要确定维度,是用户维度还是商品维度等,最终形成我们的主数据,也就是模型数据的基础。

2、数据资产

当数据中台已经具备传统数仓平台的基本能力,可以做数据的汇聚以及各种数据开发时,就可以建立企业的数据资产体系。数据资产体系是数据中台的血肉,开发、管理、使用的都是数据。大数据时代,数据量大,增长快,业务对数据的依赖也会越来越高,必须考虑数据的一致性和可复用性,垂直烟囱式的数据和数据服务的建设方式注定不能长久存在。

不同的企业因业务不同导致数据不同,数据建设的内容也是不同的,但是建设方法可以相似,按照贴源数据、统一数仓、标签数据、应用数据的标准统一建设。

通过数据资产体系建立起来的数据资产还是一套偏技术的数据体系,业务人员比较难理解。资产管理是以企业全员更好理解的方式,把企业的数据资产展现给企业全员(当然要考虑权限和安全管控),数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示,以一种更直观的方式展现企业的数据资产,提升企业的数据意识。

3、数据治理

数据中台的出现在客观上对传统数据治理的推进造成了一定的影响,但是数据中台从本质上跟数据治理是相辅相成的关系。首先,数据中台实现了数据资源的聚合和融通,承载了业务条线对数据的需求和期望,是企业切入数据域建设的重要途径和抓手。企业通过数据中台的建设和落地,比较容易在数据层面“找问题”、“强弱项”,有助于数据治理意识和体系的形成。数据中台要想持续发挥价值,需要受数据治理体系的管理和约束,数据治理的持续运行有助于进一步加强和推动数据服务能力建设。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/1e000f12735c409e4d0cc22170cf5f18..png

4、数据服务

数据中台通过数据采集、数据清洗、数据加工、数据治理对海量的数据进行有价值的数据挖掘, 形成企业的数据资产, 通过数据服务平台快速形成数据服务,最终为企业的经营决策提供支撑。
而数据即服务是一种数据管理的策略,目的是通过资产的服务化来提高业务敏捷性。数据即服务提供了一种方法来管理企业每天生成的大量数据,并在整个企业中交付这些有价值的信息,用于数据驱动的决策。数据服务平台包括一系列数据管理技术,包括数据虚拟化、数据服务、数据超市和资产编目等。

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/Taier

 

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群