博客 企业数据中台建设指南(附Top 10厂商)

企业数据中台建设指南(附Top 10厂商)

   数栈君   发表于 2023-03-06 14:20  771  0
01 数据中台概述

从数据库开始,数据存储、调用及分析的生产力工具或平台就根据企业对于数据的需求不断升级,每个阶段的数据管理方式都是与所处的阶段特点所匹配。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/632d80283273950fef302f4f20d691e8..jpg


数据中台与之前的数据工具最大的优势为基于业务的框架设计对数据资产质量及应用的管理。


事实上,数据中台的内涵是技术的概念,更是企业管理的概念。


数据中台居于前台和后台之间,是企业级的数据共享、能力复用平台,是数字化转型的基础和中枢系统。将企业全域海量、多源、异构的数据整合资产化,为业务前台提供数据资源和能力的支撑,以实现数据驱动的精细化运营。


数据中台不是简单的一套软件系统或者一个标准化产品,更多的是一种强调资源整合、集中配置、能力沉淀、分步执行的 运作机制,是一系列数据组件或模块的集合,指向企业的业务场景。


企业基于自身的信息化建设基础和业务特点对数据中台的能力进行定义,基于能力定义选择和利用数据组件搭建中台。各类数据技术是构建数据中台的基础,能够高效对数据进行统一收集、处理、储存、计算、分析和可视化呈现,使数据最终与业务链条结合,真正转化为企业核心资产。


而从广义上,数据中台更是一种企业组织管理模式和理念,集公司战略决心、组织架构、技术架构于一体,企业从战略上构建统一的协同基座即中台化组织,以协调和支持各业务部门,用技术拓展商业边界,为新业务、新部门提供成长空间。


数据中台总体架构分为三层,即:业务数据化、数据资产化及资产价值化。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1678fb4e8e29f20bc32b8c236c126e55..jpg

数据中台架构


数据中台首先采集与引入全业务、多终端、多形态的数据,经过数据计算与处理,通过数据指标结构化、规范化的方式实现指标口径的统一,存储到各类数据库、数据仓库或数据湖中,以实现数据资产化管理。向上提供各类数据服务,面向业务构建统一的数据服务接口与数据查询逻辑,提供数据的分析与展示,形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。



02 数据中台建设路径


数据中台的建设不是一蹴而就的,其建设路径及难度跟企业数字化变革驱动力、行业背景直接相关,与企业原有机制的融合是一个长期的过程,其建设成本在百万元以上,建设周期更是以年为单位计算。


整个数据中台的建设没有一个通用的企业级模型套用,一般需要从顶层设计出发,自上而下贯彻。


(1)顶层设计
  • 纳入企业战略,达成全员共识,自上而下推动,分步实施,明确分工和责任;从数据向上,业务向下同步思考,

  • 建立全局架构数据中台的设想,初始化数据采集、数据公共层和应用层建设。


(2)试点示范
  • 营销、财务或其他核心业务,企业需找准切入点,明确该业务的目标和范围,分析需求,进行初步的业务重塑,减少交付压力。
  • 从试点中验证技术平台能力、消化中台建设方法论,以完善相关产品套件及迭代中台全局架构。

(3)深化应用
  • 能力沉淀,优化和拓展场景应用,建设范围逐渐扩大到业务全域,将业务资源和共享服务沉淀整合。
  • 持续推进数据公共层的丰富完善,提高数据应用层的算法能力,重塑IT架构和企业全链路的运作方式。

(4)治理融合
  • 在使用中逐渐磨合出企业自身的中台理念和规范,优化组织,提升中台效率。
  • 随着业务的扩展和进步不断发展迭代,最终构建起企业自身的数字能力生态。

一般建议根据企业自身的业务目标逐级建设,优先从小场景领域内开始试点,逐步纳入更多的业务模块,以达到企业数字能力的逐级进化和价值的持续叠加。此外,在数据中台的建设过程中,企业需要培养自身的数据管理团队,甚至重构整个IT团队,以提高数据服务和企业数字化运营的能力。

数据中台的搭建涉及技术诸多,在整个技术构架上需要考虑可拓展性、敏捷性、轻量化,并注重与前台的交互,灵活地通过服务编排实现应用功能,以满足前台需求。

当前数据中台遵循“高内聚、松耦合”的设计原则,融合分布式、微服务、容器云、DevOps、大数据处理及高可用高性能高并发架构,已形成了一套较为成熟的方法论。


因此现阶段,数据中台的建设难点更多的聚焦在如何将成熟的技术方案与行业及企业的实际情况和特征结合,基于真实应用场景,规划设计数据中台建设的可行性方案。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/c6015d95a95c3319b1b0ebecc4eaa827..jpg


企业自身的资源配置能力、管理经验、组织架构、业务梳理能力,以及数据中台服务商在企业中台搭建过程中为企业数据治理提供的咨询规划服务,逐渐成为数据中台建设过程中的关键性要素。



03 数据中台价值点


1、降低数据建设成本,提高数据治理效率

数据中台的建设天然会帮助企业打通数据孤岛,并建设统一的数据标准,包括数据建设规范和数据消费规范。此外,数据中台基于原有的数据关系及SOA架构等企业数据管理的经验,能解决企业信息管理中“数据烟囱”的问题,从全生命周期的角度管理数据。

随着数据中台的建设,数据二义性逐渐消除,透明度和利用率大大提高,有效发挥数据及分析技术对前台业务的复用价值,降低数据计算与数据存储成本,减少因数据体系建设不一致或重复建设导致的人力成本浪费等。

由于系统和能力容易复用,当业务量增加或数据连接点、流程发生改变时,打通的数据中台可以避免系统的重复建设,支撑新业务形态的产生和快速发展;由于数据中台整合了业务与技术两大职能,业务产生的数据省去了跨部门传递的步骤,而基于技术产生的数据分析结果也可直接转化为业务优化方案。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/387fc1d4050a360afd2aca01b6549e2a..jpg


数据实时共享,直接赋能业务,使企业数据治理全链条的时效性与灵敏度得到提升,同时避免了技术与业务两部门因信息不对称而导致的认知偏差。

2、激活数据商业价值,赋能企业运营与决策

提升对数据的管理利用能力是企业数字化转型的重要目标。数据中台与过去的数据工具相比,最大的优势在于基于企业组织、战略及业务框架设计,对企业全域的数据资产进行高效的开发、应用及质量管理。

通过将数据资产化,将不同系统、不同类型的数据纳入一个可对比、可计算的范围,使其更易于企业日常经营活动中进行搜索、过滤和管理,充分激活数据 的商业价值。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a74ff3487ef12c9958e81006fc3108b1..jpg


此外,数据中台匹配和衔接了当前业务与数据间协作的需求,形成价值链闭环。在实现数据接口标准化和在线交互实时化的基础上,集成可快速复用的数据生产力工具或模块,使数据具备敏捷地对外服务的能力,智能服务全流程的部门及人员,使每个层级的员工都能快速制定适合自己的数据决策服务,有效赋能业务决策。

3、改造企业业务流程,升级企业组织架构

传统的作业方式通常呈现“流水线”的特点,往往由业务人员基于行业经验进行流程设计,结合商业套件建立和操作业务系统。数据仅仅是用于监测业务进展和洞察规律的副产物,最终的决策由业务人员进行,因此决策不确定性较强,整个业务流程的迭代速度极慢,很难与当前快速变化的前端应用匹配。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e03afb1f336ae7bd6e07cb350d7e144d..jpg


而随着数据中台在整个业务链条中的部署和应用,大数据进入决策阶段,企业的业务流程也逐渐快速、扁平化,由原先依赖业务人员经验的流程驱动逐步转向数据驱动。

另外,传统企业数据孤岛、业务割裂、资源分配等问题,其根源往往来自于组织架构的分割,尤其当业务需要涉及跨部门协同时,“部门墙”的现象十分严重,甚至出现冲突和制衡。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b13088b7bef82277276fc3aa7751ee8f..jpg


因此数据中台的部署应用既是打通了数据的壁垒,更是打通了部门、事业群间的壁垒,使企业组织灵敏性得到提升。



04 数据中台厂商


然而,在国内任何新概念一经兴起,便会吸引众多角逐者,争相跟风、模仿。数据中台也不例外,在热风吹动下一时间各种不同类型的公司都纷纷声称自己可以搭建数据中台。一时间鱼龙混杂,难分真假,让企业陷入了难以选择之境。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9b2222a3172939693675e1f7b3866bcd..jpg


从目前来看,表示可以帮助企业搭建数据中台的企业主要有以下几类:

第一类,阿里、腾讯等巨头企业   

数据中台概念始于阿里,其也是其中的典型代表,由他们来进行数据中台的搭建,无疑最有说服力。2019年5月,阿里云智能数据构建与管理 Dataphin上线公共云,开启智能研发版本的公共云公测。而在这之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台。

按照官方说法,Dataphin是企业数据中台构建的核心组成部分,帮助企业完成大数据的智能构建及管理,助力企业实现大数据的采集集成、加工处理、资产管理及数据服务对接于大数据应用及业务前台流程,是整个企业数据资产化及价值化实现的平台和引擎。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1cb82048b10c7dd9282bd4fedaac915e..jpg


而在适用上,Dataphin适合所有希望用数据智能驱动业务的客户,既包括IT侧有数据湖,数据仓库,消费者数据平台(CDP)等系统建设需求的客户,更包括希望通过系统化搭建数据中台体系全方位助力业务的客户。目前已经应用于零售、传媒、地产、金融等行业。

第二类,大数据营销、SaaS 企业和数据库、数据仓库、平台开发类企业  

数据中台位于数据库之上,应用软件之下,这也使得上下两端服务商纷纷向中间靠拢,将业务延伸到数据中台上。例如大数据企业通过对客户业务增长方式,将其和SAAS等成品进行结合,形成数据中台。一些转型云服务的传统软件商,如用友、金蝶等同样通过向上下延伸,开辟了数据中台业务。

第三类,一些新兴的创业公司,如数澜科技、奇点云、袋鼠云等

以数澜科技为例,其创始团队脱胎于阿里数据中台,经历了数据中台的由冷到热,也服务了不少大中型集团客户。

“一千个读者有一千个哈姆雷特。”当下,对于数据中台的理解,各个企业都有着自己独特的见解,也纷纷以不同的角度切入市场。

比如用友把数据中台作为其云平台的一部分,同时提供业务中台和技术中台;咨询机构罗兰贝格认为数据中台的本质是数据共享、整合和深度分析;奇点云CEO张金银强调数据中台的能力是“计算平台+算法模型+智能硬件”,不仅有云端,还需要智能设备帮企业在终端收集线下数据……从服务方到客户方,不同参与者对数据中台本质的理解并不相同, 这样使得不少企业尽管对数据中台极为重视,但是更多的还是持观望态度。


附:2021年数据中台厂商TOP50(仅供参考)

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/798c116c53cc32186e05d7e6b27b00d5..jpg


免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!


《数据治理行业实践白皮书》免费获取链接:https://fs80.cn/4w2atu


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:

https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群