博客 人人都在说的数据中台究竟是什么?

人人都在说的数据中台究竟是什么?

   数栈君   发表于 2023-05-05 15:39  587  0

关于数据中台,目前业界并没有一个标准的定义,不同厂商、不同企业对数据中台都有着不同的理解。


但对于数据中台大家也有一个共识就是它是用来解决企业数据各类数据问题,使得企业数据资源转化为数据资产的解决方案。


下面给大家分享的内容是关于数据中台定义、价值、架构和建设方法等,清晰易懂,以下为本文大纲:

1. 数据中台定义
2. 数据中台价值
3. 数据中台VS业务中台
4. 数据中台功能架构
5. 数据中台技术架构
6. 数据中台构建的三大路径
7. 数据中台构建5步法

01
什么是数据中台?
 
数据中台是一种将企业沉睡的数据变成数据资产,持续使用数据、产生智能、为业务服务,从而实现数据价值变现的系统和机制。
 

通过数据中台提供的方法和运行机制,形成汇聚整合、提纯加工、建模处理、算法学习,并以共享服务的方式将数据提供给业务使用,从而与业务联动。再者,结合业务中台的数据生产能力,最终构建数据生产—消费—再生的闭环



02
数据中台的价值


数据中台不等于大数据平台,数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。
 
数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。因此,数据中台一旦建成并得以持续运营,其价值将随着时间的推移将呈指数级增长。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/32c1aaa89ce9d173bd2a5e93aff5f0bb..jpg


2.1 帮助企业建立数据标准
在有数据中台之前,企业基本不会有全局的数据标准,即使有相关的数据标准,由于没有数据中台这个实体形态,数据标准也无从执行。
 
数据中台的建设天然会帮助企业建设数据标准,包括数据建设规范和数据消费规范。数据建设规范有诸如数据接入规范、数据建模规范、数据存储规范和数据安全规范等,数据消费规范包含数据权限规范、数据调用规范以及数据销毁规范等。
 
这些标准都是建设数据中台时必须建立起来并依托数据中台去执行和落地的。
 
2.2 促进中台组织形成
再宏伟的企业战略规划,都离不开一套科学合理的组织去落地执行。

数据中台建设将是企业宏观战略规划的一个重要部分,那么在践行数据中台建设的过程中,摆在企业第一位的问题就是如何搭建起一套能稳定护航数据中台建设及运营的数据中台班子。
 
数据中台这种体系化工程将横向拉通企业数据相关方,包括中台建设团队、中台运维团队、数据产品经理团队、数据资产管理团队、数据运营团队等,组成标准的企业数据委员会,从而形成企业真正的中台组织。
 
需要说明的是,中台组织可以是一个横跨各个业务部门的弱矩阵组织,也可以是一个完整的实体组织。这需要因地制宜,因企业不同而异。
 
2.3 全面赋能业务,促使降本增效
数据中台的终极价值是降本增效,无论是建设数据标准还是形成中台组织,其核心目标都是帮助企业达成战略规划。
 
通过数据中台,可以更加合理地布局团队;数据从加工生产到使用的整个时间周期将大大缩短;以中台之力拉通整合企业营销、交易、服务、库存、物流等一方数据,结合二方及三方数据,以全局视角,形成强大的数据资产,滋养各业务板块。
 
同时有目的性地针对场景,设计出赋能场景的数据应用,帮助其从研、产、销等多个方面缩短产品研发周期,生产未来一段时间畅销的产品,精准找到愿意购买公司产品的群体,以至于增强用户对企业产品及服务的友好体验,提高用户对于企业品牌的忠诚度,降低企业运营过程中的损耗,压缩供应链端的周期等。
 
03
数据中台VS业务中台
 
无论是业务中台还是数据中台,都是在企业IT系统架构演进过程中形成的,并从企业自身IT系统规划、建设、运营、运维等多年的经验中提炼出来的共性能力。
 
业务中台和数据中台作为两个轮子并肩构建了数字中台,支撑前台对会员的从营销推广、转化交易到智能服务业务的闭环,促进企业业务的提升和发展。数字中台对内连接企业的后台系统,诸如ERP、人力资源、协同办公、财务管理等。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4211be547e39ffc3d2a01ec6debf3c6e..jpg

 
业务中台与数据中台双轮驱动的数字中台支撑前台业务。
 
业务中台抽象、包装和整合后台资源,转化为便于前台使用的可重用共享的核心能力,实现了后端业务资源到前台易用能力的转化,为前台应用提供了强大的“炮火支援”能力,随叫随到。
 
业务中台的共享服务中心提供了统一、标准的数据,减少了系统间的交互和团队间的协作成本。
 
数据中台接入业务中台、后台和其它第三方数据,完成海量数据的存储、清洗、计算、汇总等,构成企业的核心数据能力,为前台基于数据的定制化创新和业务中台基于数据反馈的持续演进提供了强大支撑。
 
可以认为数据中台为前台战场提供了强大的“雷达监测”能力,实时掌控战场情况,料敌先机。
 
不过数据中台所提供的数据处理能力和之上建设的数据分析产品,也不局限于服务业务中台。数据中台的能力可以开放给所有业务方使用。
 
业务中台与数据中台相辅相成,互相支撑。
 
对于业务方来说,自己产生数据,并同时消费自己的数据,在消费自己的数据时又在继续产生数据,从而形成数据闭环。

数据中台并不是截然独立的,它与业务中台一起组成了支撑业务的两个轮子。 
 
04
数据中台功能架构
 

数据中台建设是一个宏大的工程,涉及整体规划、组织搭建、中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建。


数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力,让企业员工、客户、伙伴能够方便地应用数据。



一般来讲,企业的数据中台在物理形态上分为三个大层:工具平台层、数据资产层和数据应用层。

 
4.1 工具平台层
工具平台层是数据中台的载体,包含大数据处理的基础能力技术,如集数据采集、数据存储、数据计算、数据安全等于一体的大数据平台;还包含建设数据中台的一系列工具,如离线或实时数据研发 工具、数据联通工具、标签计算工具、算法平台工具、数据服务工具及自助分析工具。

以上工具集基本覆盖了数据中台的数据加工过程。
 
4.2 数据资产层
数据资产层是数据中台的核心层,总体来讲,可以划分为主题域模型区、标签模型区和算法模型区。


①主题域模型
主题域模型是指面向业务分析,将业务过程或维度进行抽象的集合。业务过程可以概括为一个个不可拆分的行为事件,如订单、合同、营销等。
 
为了保障整个体系的生命力,主题域即数据域需要抽象提炼,并且长期维护和更新,但是不轻易变动。在划分数据域时,既要涵盖当前所有业务的需求,又要保证新业务能够无影响地被包含进已有的数据域中或者很容易扩展新的数据域.
 
②标签模型
标签模型的设计与主题域模型方法大同小异,同样需要结合业务过程进行设计,需要充分理解业务过程。
 
标签一般会涉及企业经营过程中的实体对象,如会员、商品、门店、经销商等。这些主体一般来说都穿插在各个业务流程中,比如会员一般都穿插在关注、注册、浏览、下单、评价、服务等环节。那么在设计标签的时候就需要充分理解这些业务流程,在流程中发现标签的应用点,结合这些应用点来搭建企业的标签体系。标签模型按计算模式一般分为客观标签和主观标签。
 
设计标签模型时非常关键的要素是标签模型一定要具有可扩展性。毕竟标签这种数据资产是需要持续运营的,也是有生命周期的,在运营的过程中随时可能增加新的标签。
 
③算法模型
算法模型更加贴近业务场景。在设计算法模型的时候要反复推演算法模型使用的场景,包括模型的冷启动等问题。整个模型搭建过程包含定场景、数据源准备、特征工程、模型设计、模型训练、正式上线、参数调整7个环节。
 
以新零售企业为例,常用的机器学习算法有决策树、神经网络、关联规则、聚类、贝叶斯、支持向量机等。这些算法已经非常成熟,可以用来实现商品个性化推荐、销量预测、流失预测、商品组货优化等新零售场景的算法模型。
 
4.3 数据应用层
数据应用层严格来说不属于数据中台的范畴,但数据中台的使命就是为业务赋能,几乎所有企业在建设数据中台的同时都已规划好数据应用。数据应用可按数据使用场景来划分为以下多个使用领域:分析与决策应用、标签应用、智能应用。
 
 
05
数据中台架构图案例
 

为大家准备了8张数据中台架构模板,可以给大家提供一些思路。


1、数据中台整体架构图


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/580bd84fcf2218507ba63d2820a8b60c..jpg


2、企业数据中台整体解决方案



3、通用数据中台解决方案架构规划


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/62dbbeb32ab7d03db525de8f597f933f..jpg


4、运维数据中台参考架构图


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ddde16761c528bdfa7fdda5488ca8496..jpg


5、工业数据中台系统架构


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/08beb3cdc1b78de92b2ef3b487e7b4c8..jpg


数据时代带来的挑战不仅是数据量的爆发式增长,更重要是如何管理好、处理好、利用好这些数据,很显然,传统的大数据建设方法论已无法满足企业的需求,那么大数据平台开发和管理工具的使用,才能助力企业有更大的发展。

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu


《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群