数据中台 数据中台

tel 400-002-1024
tel

数据资料交换及服务工具

2021/04/09 袋鼠云 文章来源:.

它是实现数据采集服务、数据交换服务、数据处理服务、数据共享服务等功能的统一支撑工具。该数据服务工具采用面向服务的体系结构,实现数据交换、数据集成、数据复制、数据传输、数据共享等功能。它主要由操作支撑、处理组件、服务组件、数据服务总线等组成。

一是数据采集服务:主要负责异构、异质多源数据到贴源缓存的采集工作,实现内外部系统中结构化、半结构化、非结构化等不同类型、不同时效的数据的复制和整合。结构性数据和非结构性数据的拷贝,异构、异质数据库数据、文件数据的拷贝到缓存库。

数据资料交换及服务工具

数据交换服务:支持多用途应用场景中的数据交换,例如:企业内部数据交换,企业上下层数据交换,基于前置机的数据交换,隔离的物流数据交换。可支持全量、批量、实时数据交换;可支持大容量数据交换;可在复杂的网络环境中进行可靠的数据交换;可在不同网段、不同单位之间进行数据交换;可支持基于信道、文件的加密传输;可支持多种数据接口和传输协议;可提供数据交换日志;可支持断点续传功能。

3)数据处理服务:实现数据转换、逻辑判断、数据质量检查、异常处理、数据路由、数据标准化等处理,将贴源缓冲区的数据按需加工成结构化、非结构化的数据存储和处理层,为数据主题区、分析服务区、数据实验室提供标准化的数据。以数据流处理技术为基础,支持全量、增量、实时的数据处理,在数据流引擎中处理,减少对数据源和目标的影响;提供统一的处理服务,实现数据库、数据仓库、NoSQL、搜索引擎、文件、XML、WebService、传输队列、适配器、内存表、JSON等服务之间的交互,通过工具的可视化配置,可视化配置异构数据之间的转换、处理、映射规则,并通过拖拽等操作实现可视化配置。

4)数据共享服务:服务提供者对服务资源进行分类,将其注册到目录中心;服务提供者对服务资源进行审核、维护,并发布共享服务;服务使用者在查询到服务后,向中心提出使用申请;中心对申请用户授权使用服务资源;服务使用者通过安全可管理的服务总线调用服务,实现提供者和使用方之间的数据交换和共享。

五是运行支持服务:统一的工具实现可视化配置、任务管理、安全管理、运行监控和调度管理功能,如运行支持服务,主要包括可视化配置和监控、调度规则管理和运行监控模块、调度策略模块、过程调度模块、数据总线调度模块、服务模块等。