架构设计数据中台是数据治理平台,负责数据从采集、清洗到分析的全生命周期管理。
数据中台包含:
1.数据仓库
2.数据分析
3.大数据应用
4.可视化工具
5.运维管理
6.bi报表工具等。
中台架构的实现方式有四种:
一.基于微服务的方式
二.基于分布式的方式
三.基于hadoop+spark的方式
四.采用mpp(多租户)模式:
基于hadoop+ spark 的方式 在这种方式下,业务系统与数据仓库之间是通过spark进行交互的,而spark又是通过apache hadoop来实现的;这种模式下可以避免传统关系型数据库在扩展性上的不足之处。 hive和sqlite都是支持高并发读写操作的存储引擎,但是它们都只支持单表的数据查询操作;而hdfs则同时支持对数据的增删查三种操作。因此对于需要大量读写操作的场景而言,使用hdfs会更为合适一些。