数据治理产品体系架构数据治理产品体系架构是面向数据治理的完整产品线,包含基础组件、业务应用和数据分析。
基础组件:包括数据库引擎(databaseengine)、数据仓库(datawarehose)和数据集市(datamart)。
业务应用:包括企业门户、报表分析、bi工具等。
分析工具:包括商业智能平台和数据分析平台。数据治理产品的功能模块如下表所示。
数据治理的产品体系结构
2.2.2 数据库引擎 db engine是实现数据管理的基础设施,它提供了数据的存储与计算服务,为上层提供各种业务应用系统提供支持。
db engine主要的功能有:
提供对关系型和非关系型数据的访问接口;
支持多种类型的文件格式;
支持事务处理机制;
提供丰富的查询语言及查询方式;
对海量数据处理进行优化处理,提高运行效率和性能表现;
提供完备的数据备份与恢复功能等。
3.1.3 数据仓库 data wareho se是对大量数据资源进行管理和处理的计算机软件集合和数据集群的统称.其基本思想是把具有相同主题的数据存储在统一的数据库中以便对其进行集中管理并利用这些集中的信息来更有效地决策或辅助决策.它是企业级大数据的核心技术之一.目前已经广泛应用于银行、保险等行业的大规模数据处理领域 . 目前国内主流的数据仓库产品主要有hive 和spark streaming 。