大数据平台和数据中台有什么关联呢?
一个典型的大数据平台具有大数据基础的能力,在基础组件上面会运行一套数据流水线,进行数据采集、数据处理、数据分析,再加上一些机器学习的能力。而数据中台,其实是包含大数据平台的,它们的不同主要体现在下面这张表上。数据中台的建设其实就是要在一个包含大数据平台的架构下,通过一系列工具和方法论,弥补大数据平台的缺陷和局限性,实现数据中台的建设目标。
数据中台息息相关的云原生的概念。云原生包括了微服务和容器技术以及一套DevOps和CI/CD的流程,而数据中台则是云原生的数据中台架构。
整个架构设计中一个很重要的方法论,就是全局的应用和数据管理。应用基础能力平台可以把所有应用的生命周期在一个统一的平台管理起来。数据基础能力层与应用基础能力层是统一融合的,而在传统的大数据平台中,一般并没有统一管理的应用基础能力平台。这两个基础能力的融合能够以一种低门槛的方式为用户提供一个大数据应用的开发、集成和发布的统一平台,方便用户进行数据能力的共享、抽象和复用。而数据应用管理平台做的是全局的数据资产管理,能够让管理层、业务部门和数据分析部门,从一个全局的视角进行数据探索,进行全局的ROI管理,并提供一个全局的运营指标去评价数据中台建设的价值。
总结起来,数据中台的核心功能,是一个大数据容器云平台,把大数据及AI应用以统一的容器化方式运行在高效的云平台架构上。其次是数据应用资产管理,全局地管理数据及应用的目录、元数据、版本管理等。此外还有数据应用集成,实现了系统自动配置所有的组件,提供单点登录、多用户支持、安全、监控报警等功能。还支持协同数据开发,针对于不同层次的数据分析人员和数据科学家都可以统一使用可配置的UI在一个系统中进行数据应用的开发、共享和复用。数据中台的数据集成中心支持多种及自定义数据集成引擎,可以很方便地进行工作流的管理,以及数据服务开放。最后,贯穿整个数据中台有一个端到端的运维体系,提供全面高效的大数据运维支持,可以提升整个系统的可用性,降低查错成本和时间。