数据中台功能有哪些?基本功能介绍,数据中台作为企业的基本服务平台,贯彻落实了整个数据产品生命周期,但是中台的內容并没有从近期在开始,在历史上数据湖、数据管理服务平台等全是多多少少涉及相关内容,这篇文章尝试将数据中台拆分为大家了解的产品和作用。
中台与传统的软件、产品是具有比较大差别的,准确地说,中台没有独立产品,中台本身是一套方法论+组织+工具结合,这篇文章关键集中化在工具结合部分。
数据中台功能有哪些?基本功能介绍
聚集服务平台关键是从数据储存视角来描述,指将原始数据进行集中化存放,有利于后续应用的读取应用。
数据聚集服务平台的关键目标是将不同来源的异构数据存放到数据仓库中。企业一般数据分成几类:
业务流程数据,指企业业务办理流程中产生的数据,比如订单数据、客户数据、商品数据、供应链数据。这类数据由业务流程信息系统产生,已存放在现有信息系统中,比如ERP系统、CRM系统等。
在线监控数据,比如企业自有媒体上部署代码能够获得用户媒体行为日志数据;或者传感器实时产生的监测数据。这类数据需要实时在线服务接收并记录相对的日志数据。
第三方数据,数据具有第三方,比如微信公众号、支付宝等服务平台数据。这类数据平台往往提供API能进行数据拉取。
数据聚集,或者称作ETL,将不同的业务系统的数据加载到数据仓库中。数据聚集有多种方式,按照数据聚集的传输方式,可以分为文件传输、数据抽取、消息推送等方式。
数据聚集服务平台依托于基本支撑软件和基本网络设施,通过图形化的配置界面实现分布的、异构的、跨网络的各场景数据聚集,关键结构如下:
数据处理的关键目标确保数据满足标准,标准关键有两个方面:
正确性;
描述语言一致性
因此数据处理服务平台关键包括两个层次:
第一层:数据处理,确保数据正确性,将数据中错误的数据排斥。包括清理规则算法管理、数据分布查看。
第二层:字段体系统一,将不同来源的同一语义的字段进行名称和值的统一。关键包括语义标准命名管理、字段体系管理、字段映射管理等。
加工服务平台承担了数据字段、数据指标的衍生计算日常任务,为数据开发人员提供数据可视化或者可编码的环境进行加工规则的管理和实施,是将数据资产化的重要环节。数据整理服务平台实现的典型日常任务有用户标签计算、ID打通计算、电商典型购买指标计算等。
数据整理服务平台关键包括:体系指标管理、计算模型管理;
指标体系管理:指标体系、指标的定义、增删改查等;
计算模型管理:计算模型定义、调度等配置管理。比如标签的日常任务、ID计算的日常任务等。
数据加工服务平台形成不同业务流程含义域,形成企业的数据地图。这些域中的数据全是可以进行直接应用的正确数据。
数据资产管理实际上是从元数据视角呈现关联关系和统计量,实质上是数据字典的图形化版本,阿里有多少数据、怎样储存、数据之间关系怎样、怎样找、怎样用都能够从资产地图找到答案,蛮形象的,从网上资料看,其设计还是值得借鉴,以下是一些界面截图。
数据资产管理平台,关键包括两个部分:数据看板、数据地图。
中台作为企业数据的基本服务平台,面向对象从企业老总到具体一线业务人员,其数据分析、分析需求差别比较大,假如每一个都定制开发,大部分是一个不能实现的日常任务。
自助式数据分析服务平台的定位是,使用者可以通过服务平台选择需要的数据域和数据表,选择需要的指标、维度、过滤条件以此为基本进行数据分析。
在建设过程中,自助式数据分析服务平台未必需要再次建设,目前市面上有很多成熟产品可以应用,进行对接。比如帆软、达芬奇和supset等,这些产品具体就不进一步说明,网上有很多相对资料。
数据供应服务平台就是将数据服务化,包括了与业务流程相关的、可复用的一些公共技术组件或产品,如数据目录、数据标签、数据分析、数据开放接口、机器学习算法模型等,它们可以应用SAAS方式直接对外提供服务项目,也可以以更小粒度如API、消息接口、文件接口、服务项目接口、SDK软件包等方式只提供组件能力或网络服务,内部或外部第三方应用不必关心底层数据准备情况,直接调用网络服务控制模块对外提供的服务项目接口,就可以方便进行二次开发,借以增强自身的能力。
数据中台功能有哪些?基本功能介绍,现阶段数据供应服务平台更多指以微服务,API方式对业务系统直接给出的数据业务流程服务项目,数据供应服务平台类似一个API的开放市场,包括API注册、发布、搜索、调用支持等。