数据中台 数据中台

tel 400-002-1024
tel

数据治理在数据中台建设中的重要性

文章来源:.

数据中台的价值在于业务数据化、数据资产化、资产服务化和服务业务化。数据治理则是实现数据资产化的重要步骤。不同于过去的数据平台,数据治理不是数据平台的附件,而是数据中台建设的一个重要组成部分。数据治理,在消除数据孤岛、提高数据质量、保障数据安全等方面,支撑中台数据的可见、可用、可运营。

数据管理的概念是伴随上世纪八十年代数据随机存储技术和数据库技术的使用,计算机系统中的数据可以方便地存储和访问而提出的。国际数据管理协会在2009年就发布了第一版数据管理知识体系(DMBOK1.0)。受过去我国经济、社会和技术发展水平的限制,国内的数据治理起步较晚。在信息化到数字化的不同阶段,数据治理的概念在国内从无到有,从小众需求到如今普遍成为企业数字化转型的刚需,数据治理的重要性日益显著。

数据治理从空白到不可或缺的蜕变

1、信息化阶段

在企业信息化的阶段,数据的使用范围限制在单个系统内部。数据由实现系统功能的IT人员设计出来,由系统生成和访问,数据的问题较少且问题的产生和表现都是在单个系统,数据问题被认为是纯IT问题。例如,缺少元数据是因为系统建设项目组文档管理不善,缺少数据字典;数据质量问题则被认为是系统的BUG。

2、数据仓库建设阶段

随着我国经济的发展,银行、通讯等信息化起步较早的行业的数据规模逐渐增大,并开始建设数据仓库,利用积累的大量数据进行经营分析和决策支撑。从多源系统中采集数据进行集成过程产生大量数据问题:数据标准、数据标准不统一,集成时需要做大量的转换;缺少数据字典,系统有哪些数据、数据结构、数据的业务含义不明;源系统之间数据冲突;指标口径不清晰;同名、相似指标难以区分。

此时,部署了数据仓库的企业开始寻求元数据管理、数据质量管理、数据标准等等方法治理数据。这个阶段的数据治理,只是少部分数据仓库玩家的小众需求。

3、大数据阶段

2011年5月,麦肯锡发表著名的研究报告,题为“Big data: The next frontier for innovation, competition, and productivity(大数据:下一个创新、竞争和生产力的前沿”,标志着大数据时代的到来。随后,各行各业的信息化步伐加快,大数据一词被越来越多地提及。麦肯锡提出:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” 2015年,十八届五中全会首次提出“国家大数据战略”,《促进大数据发展行动纲要》发布。大数据上升到国家战略,对数据的采集、融合、加工、应用的需求从互联网、金融、通讯等先进领域的头部企业,下沉到各行各业的中小企业。

由于这部分企业缺少数据仓库建设的经验,在开展大数据的融合、应用过程中遇到的数据问题往往束手无策。面对绕不过的数据问题,提供大数据解决方案的服务厂商中,开始建设元数据、数据标准、数据质量等数据治理组件,但由于缺少方法论的指导和实践经验,数据治理效果往往不够理想,部分企业开始寻求第三方专业数据治理工具和服务的帮助。

4、数字化转型阶段

在国家和产业的双重推动下,数字化转型成为企业适应数字经济环境,赢得市场竞争优势,谋求生存发展的必然选择。企业的数字化能力建设是现阶段数字化转型的核心,数字化转型的成功立足于数字化转型项目和项目群的成功实施,而具备相应的数字化能力是真正将这些项目落地的前提条件。数字平台则是为企业提供数字能力、应对不确定性的核心。

在数据平台建设上,早期的观念还是离不开数据仓库,普遍的做法是搭建大数据技术平台,在此基础上建设数据仓库。但在大数据环境下,数据仓库的不足也逐渐暴露。传统数据仓库的主要作用是探索并挖掘数据价值,为企业高层决策提供依据。进入数字化转型阶段,数据的作用被进一步发掘,除了数据分析外,用户画像、精准营销、数字化运营、数字化管理等应用场景都构建在数据平台的基础上。数据平台由“旁站”式向“底座”式转变。在人工智能、大数据等技术发展和企业数字化转型加速的双重驱动下,2019年,数据中台在众多赛道中脱颖而出,成为行业焦点。