数据中台 数据中台

tel 400-002-1024
tel

数据中台的技术架构

文章来源:.

数据中台的目标是使数据可持续使用,并通过数据中台提供的工具、方法和运行机制,将其转变为一种服务能力,使数据更容易为业务所使用。下面的图表显示了数据中台的总体框架,其中数据中台是在底层存储计算平台和上层数据应用程序之间的一套完整系统。在底层存储平台上,数据中台屏蔽掉了计算技术的复杂性,减少了对技术人才的需求,使数据的使用成本降低。企业数据资产是通过数据中台的数据汇集、数据开发模块建立的。在企业业务中,通过资产管理和治理,数据服务将数据资产转变为数据服务能力。数据安全系统、数据操作系统保证数据中台能长期健康及持续运作。
一个数据平台的总体架构图。
数据汇集
数据汇合是数据中台数据存取的入口。其中台本身几乎不产生数据,所有的数据都来自于业务系统、日志、文件、网络等等,这些数据分散在不同的网络环境和存储平台中,难以被利用,也难以产生业务价值。数据汇集是数据中台必须提供的核心工具,能将各种异构网络、异构数据汇集到数据中台以便于集中储存,为后续加工建模作准备。数据汇集方式一般有数据库同步、埋设点、网络爬虫、消息队列等;从汇集的时间上看,有离线批量汇集和实时采集。
数据开发
透过数据汇集模组汇集至中台的数据,并不经过任何处理,基本上是按照数据的原始状态堆砌而成,因此业务仍然难以使用。数据挖掘是一套数据处理和处理过程控制的工具,有经验的数据开发、算法建模人员利用数据处理模块所提供的功能,可以迅速地将数据处理成对企业有价值的形式,提供给企业使用。该数据开发模块主要是为开发人员、分析人员提供离线、实时、算法开发工具,以及若干列的任务管理、代码发布、运行、监控、报警等集成工具,方便用户使用,提高工作效率。
数据资产系统。
通过数据汇聚、数据开发模块,中台已经具备了传统数据仓库平台的基本能力,能够进行数据聚合和各种数据开发,从而构建起企业数据资产体系。以前说数据资产系统是中台肉,开发,管理,使用都是数据。在数据庞大、增长迅速、商业对数据的依赖性日益增强的大数据时代,必须考虑数据的一致性和可重用性,构建垂直分离的数据和数据服务的方式注定不会长久。由于不同企业业务不同导致数据类型不同,数据构建的内容也不同,但构建方法相同,数据构建要统一,笔者建议数据按照贴源数据、统一仓库、标签数据、应用数据等标准统一构建。
数据资产管理
建立在数据资产体系基础上的数据资产仍然是一套偏技术的数据体系,业务人员难以理解。在企业中,资产管理是指通过对数据资产目录、元数据、数据质量、数据起源、数据生命周期等的管理和展示,将企业的数据资产展现在企业全体员工面前(当然,还要考虑权限和安全控制),数据资产管理包括对数据资产目录、元数据、数据质量、数据来源、数据生命周期等的管理和展示,从而提高企业的数据意识。
数据服务系统。
前边使用了数据汇聚,数据开发构建了企业数据资产,用数据管理展示了企业数据资产,但没有发挥数据的价值。它是指将数据转化为一种服务能力,通过数据服务使数据与业务相结合,激活整个数据中台,而数据中台的价值就在于此。企业级数据服务是多变的,中台产品可以提供一些标准服务,但很难满足企业级服务的需求,大多数服务仍然需要中台的能力来快速定制。该数据平台的服务模块不是自带大量服务,而是提供了快速服务生成能力和服务控制、鉴权、度量等功能。
运行系统和安全系统。
经过数据汇聚、数据开发、数据资产、数据管理、数据服务等,整个数据中台的搭建与构建工作已经完成,并已在企业中发挥一定的价值。操作系统和安全系统是数据中台健康、持续运作的基础,没有这些系统,数据中台就很可能像一般项目一样,在一段时间内建立一个平台,在建设部分数据后,尝试一两个应用场景,以维持正常的运行,不能持续发挥数据应用价值。这样的数据中台也完全无法实现建设目标。