博客 数据中台:企业数据驱动能力的核心引擎

数据中台:企业数据驱动能力的核心引擎

   小美   发表于 2023-02-23 17:38  237  0

一. 数据中台的相关背景


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/8e2e878519a00ce91cc9e742bde877f0..jpg


首先,我们来介绍一下这项工作的背景。从数据经历的时代变迁中我们可以看到,数据最早现身于信息化时代,在信息化时代各种信息技术的帮助下,人们开始认识到数据的存在,开始收集零散、碎片化的数据并基于这些数据进行人工决策。随后在数字化时代,人们通过数字化技术开始收集全量的数据并对数据进行整合,基于对全量、整合后的数据进行分析辅助决策,提高决策的准确率,人们开始感受到数据实实在在起到的效果;未来我们将迎来的数智化时代中,数据将变得更加重要,通过引进智能技术进一步增强数据分析能力,基于全量、整合后数据的自动化决策将进一步的提高决策的效率,因此通过数据驱动决策的数据驱动能力将成为企业的核心竞争力


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/8634092069ade2548d7f415dea3f88fe..jpg


那么企业为了构建或者提升自己的数据驱动能力,通常都需要按照如下的路径进行。一开始,企业需要最先明确的是自己需要什么,因此要先判断自身的需求并根据需求构建相应的计划,即现实中企业构建的数据战略或数字化转型战略等。接下来,部分企业可以直接考虑该如何执行相应的建设动作,但更多的企业其实在前期已经做过了一些基础性的工作,因此也需要先梳理自身的基础情况,了解企业的数据现状及数据体系,例如:是否建设过数据仓库?是否做过数据治理?是否已经采用了BI等数据分析工具?在此基础上进一步考虑该如何继续进行数据驱动能力的建设或提升。紧接着,是确定建设方案和实际建设的过程,这里需要考虑的核心问题就是企业需要建设哪些能力,也就是我们后面会继续介绍的企业数据驱动能力的核心内容。在建设完成之后,到达应用和运营的阶段,即考虑如何才能用好或者促进企业用好已建设完成的数据驱动能力,这里涉及到企业数据文化培养、人员数据思维培养、人才能力积累、激励举措等等。最后,通过评估对已建成能力的运用效果,发掘仍存在的问题,进一步的完成重复迭代优化的过程。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/e64f7985493782ba8e3414379fcd5abc..jpg


接下来我们将进一步介绍刚才提到的企业数据驱动能力建设的核心内容,这里我们先根据目标来进行反推。通常来说,为了达到支撑决策的目标,我们往往需要一些相关信息,即决策内容可能涉及到的现状、预期、不同决策可能造成的影响等。进一步的,这些信息通常需要一定的数据支撑,这些支撑数据的充足程度、准确性、及时性都将影响到决策的准确度。而这些用来支撑的数据来自各类不同的数据源,或由不同的数据组合加工而成。因此,为了支撑决策,我们首先需要对涉及到的所有数据源中的数据进行汇聚、整合、加工、提炼,形成各类数据支撑或数据半成品,在此基础上需要进一步对这些支撑数据进行分析以形成各类可辅助决策的信息,最终完成决策。


由此可见,企业数据驱动能力的核心是完成对数据进行汇聚、整合、加工、提炼、分析这一系列过程不可或缺的数据加工中心,并由此向数据分析者和业务应用方提供数据服务。对于这些能力,在相对大型的企业中开始希望他们更加统一、可复用、高效,这些关键词的修饰下这些能力的集合便同数据中台早期的定义相吻合,即企业需要的这一核心能力看起来就是数据中台。但实际上这一套能力是否叫“数据中台”并不重要,因为其名称没有改变本质上所必须要包含的这些能力,即数据汇聚存储、数据管理/治理、数据开发、数据服务、数据运营等。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/b8721a446ffc30cee89358bff3abc96e..jpg


很多人仍然希望明确的了解什么是数据中台,因此,在已有研究的基础上,在此我们给出了数据中台的定义。首先,数据中台的总体目标是使数据产生“业务价值”,即通过构建各项能力,弥合数据供需鸿沟,使数据能够驱动企业提升经营效率、实现业务价值。由此,数据中台便是企业实现数据价值的能力框架,包括基础设施、数据开发、数据管理、数据服务、数据资产运营等。简单来说,数据中台就是企业为了使数据产生业务价值所需要构建的能力集合。同时,数据中台通常会通过统一的企业一站式数据加工生产利用逻辑平台具象化,是企业级的中枢平台。


二.数据中台产业现状及问题


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/011d8eaf59ce351e7abf115a1ce74e5d..jpg


当前,随着持续发展数据中台产业已经进入了实践阶段。首先,数据中台这一词汇开始出现在各类政策文件中,政策逐渐开始鼓励数据中台的建设。其次,数据中台的供给侧愈加繁荣,在Gartner的技术成熟度曲线中数据中台处于顶峰,市面上我们也可以看到大量的各类数据中台供应商。最后,近两年我们也能感受到数据中台类的项目仍在不断增多,各地政府、各行业头部央国企、各类金融机构纷纷立项数据中台建设项目,数据中台的市场规模有望持续扩展。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/b9aa768e1bd0add46a3c24be0deac7a1..jpg


在当前繁荣的数据中台产业生态中,各类企业分别形成各自不同的分工。按照实际项目的执行过程,首先是咨询服务商,由于部分企业自身能力的不足,需要专业人员为企业厘清存在哪些实际需求,这类服务商包括专业的第三方咨询服务商、部分具备咨询能力的数据中台供应商等。其次是技术产品供应商,数据中台的实现少不了一系列软件产品,部分企业基于自研自用的积累或持续服务客户的不断迭代,形成标准化的数据中台产品并对外输出,当前市面上多数数据中台供应商均为这类企业。最后是实施交付服务商,通常承接数据中台项目中实际落地实施工作,一般会应用自有产品或其他合作方产品为用户实现中台,这类企业包括部分集成商、部分大型数据中台企业的下游合作伙伴以及部分行业领域的专业IT服务商。


同时,在这些大类以外还有更多细分类别的企业,例如单一产品供应商,因为数据中台涉及到的多方面能力,因此有部分企业针对性的研发并供给数据中台部分能力对应的单一轻量化产品,包括数据湖仓、数据开发平台、数据管理平台、数据服务平台等单一产品的供应商。又例如,由于用户的需求,出现了提供技术产品及实施交付的一站式服务供应商,这类企业包括部分独立数据中台供应商以及部分大型数据中台供应商高价值服务团队。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/782d2a64bf4935c06c560743ffd810ab..jpg


在这样的产业现状下,数据中台领域目前依旧存在一定的问题。一方面,在供给侧当前存在着如下的问题:

◆ 产业生态碎片化,全栈式服务商较少或成本较高

 产品间互通性不足,不同厂家或生态产品仍存在集成困难

 产品能力和服务能力不透明,应用方选型对标难

 建设效果难度量,客户感知难


另一方面,在应用侧当前存在如下问题:

 资源投入不均衡,资金投入为主,内部主动性和协同性有所欠缺

 部分企业期望过高,不符合企业实际情况

 业务参与有限,业务场景需求梳理不到位

 项目周期长,成效体现慢,应用效果欠佳


面对这些问题,我们希望完成以下几方面工作。首先是构建通用的方法论,指导企业建设。其次是明确标准化、规范化的产品及服务能力。再次建立企业数据能力评价体系,直观的衡量建设成效。接下来是搭建行业交流平台,共享大家的实践经验。最后是通过培训等手段加强人才能力、数据思维等方面的培养。


三.数据中台成熟度模型


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/9d447860c84d6a87ce58175e6dd2eec1..jpg


为了构建一套评价企业数据驱动能力的评价体系,我们今年上半年开始进行了大量的工作,也提炼出了一整套企业数据能力全景视图。其中,可以看到最底层是数据基础设施的相关能力,包括了基础的软硬件以及支撑其运行的运维管理能力和高可用及安全能力。往上一层就是我们今天讨论的内容数据中台能力,其中包括了数据汇聚存储能力、数据管理能力、数据开发能力、数据服务能力、数据运营能力,后面也将详细介绍这部分能力对应的数据中台能力成熟度模型。再往上一层是数据应用能力,其中包括了通用的企业数据分析能力,以及面向具体行业和应用场景的相应数据应用能力。最后,在最顶层是企业整体的数据战略与保障措施,其中包括了战略管理、组织架构、体系制度以及包含数据文化等内容在内的长效机制。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/6e3e07f730b0a81fb42a727e3f951fe7..jpg


具体来看,我们今天将重点介绍的数据中台能力成熟度模型,包含技术工具、架构设计、数据开发、数据服务、数据管理、数据资产运营共六大能力域,分别评价企业数据中台相应的能力,评价结果共划分入门级、进阶级、优秀级、卓越级、引领级五个等级。后面也将分别介绍各能力域对应的具体内容


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/3fa5df5ed4771af24088162e9486f305..jpg


技术工具能力域:


技术工具是数据中台的物理基础设施。技术工具能力域从产品功能的角度集中体现了企业建设数据中台所需的全部技术工具能力集合。具体细分为数据管理与治理、运维管理、数据处理与分析、数据开发、数据安全、数据服务、数据集成、数据存储共8个子能力域,以及更细分的32个能力项,每个能力项之下还有更详细的分级能力要求,共计283项。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/cc44e043e6bce1b5afb89956cf10947e..jpg


架构设计能力域:


架构设计完成了数据中台的整体设计图。架构设计是指基于基于企业数据中台建设及业务需求,参考已有战略和企业架构,结合组流程规范和技术工具等,对数据体系和技术体系的蓝图进行设计,最大限度满足业务和管理需求的过程。其中分为数据体系、技术体系两个子能力域,20个能力项,以及200+条分级能力要求。该部分重点关注湖仓设计、数据建模、平台工具的集成架构、安全架构等内容。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/9c3a5aa0427e37b6a71d655157e45d41..jpg


数据服务能力域:


数据服务是数据中台面向用户的服务内容出口。数据服务部分规范了数据中台对外进行能力输出的方式,其中实现了对业务部门常规数据工作的下沉与复用,由此达到数据赋能业务的效果。具体分为数据获取及探索、数据分析服务、数据服务管理三个子能力域,15个能力项,近200项分级能力要求。该部分重点关注数据探索、数据获取、自助分析、模型管理、指标和标签管理等内容。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/f25554edaff454779a8ee1c9adb2ed06..jpg


数据资产运营能力域:


数据资产运营提供了促进使用数据中台的策略和措施。数据资产运营能力域的标准仍在编制过程中,当前包括数据资产生命周期运营、数据资产运营评价、数据资产运营制度与策略、数据资产运营平台四个子能力域,43个能力项。该部分重点关注资产生命周期、作为核心的评价体系、以及运营制度与策略。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/1b85daf457d46bd74bca456a555b1458..jpg


数据开发能力域:


数据开发是将数据加工形成可用半成品的生产过程,是面向数据全生命周期,聚焦于协同从数据需求输入到交付物输出的全过程。该部分标准仍在编制中,计划分为研发管理、持续交付、数据运维三个子能力域,分别对应企业数据开发过程中的研发、交付、运维三个主要环节。该部分标准也将参照引用我们另外一项重要工作,即DataOps系列标准中的相关内容。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/6bbfb2ff5d03455ca7505fe7b2da08cf..jpg


数据管理能力域:


数据管理提供了保障数据质量及安全的制度及措施。数据管理是包括提升整体数据质量、保障数据安全可用等在内的一系列工作的总和。计划分为元数据管理、主数据管理、数据标准、数据质量、数据安全五个能力域。该部分标准也将计划参照引用相关性较强的国标DCMM中的部分内容。


免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群