博客 数据建模、数据集成和数据生命周期

数据建模、数据集成和数据生命周期

   小美   发表于 2023-02-02 15:29  326  0

一、数据建模

1.1、概念

企业级数据模型建设方法:从全局入手,涉及标准化数据模型,构建统一的数据模型管控体系,丰富和完善数据实体相关属性信息,梳理数据实体之间的逻辑关系,最终形成不同主题域数据模型。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/e5235abb16bc3dcd14f2a2a3f258f1d7..jpg

1.2、数据模型分类

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/aceb83f5f8c05e66da40196ce8169711..jpg

1.3、数据模型生命周期

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/9101e0e64fb60a2746350c01d51789d0..jpg

1.4、案例

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/c2d6aaa008b1ed3224a7f19ff4ad631b..jpg

二、数据集成

2.1、概念

数据集成:主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程,是一个渐进的过程,主要有新的、不同的数据产生,就不断有数据集成的步骤和方案执行。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机的集中,从而为企业数据共享提供基础支撑。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/465474472620f6bdcc2a8f02aa746ab6..jpg

2.2、数据集成整体架构

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/017fc8bf9abad48801728116426c3e4a..jpg

三、数据生命周期

3.1、阶段划分

按照两个大的阶段来划分:数据治理规划阶段+数据生命周期管理阶段

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/80f40449103efbd0eeb8198e0f650ff6..jpg

数据治理规划阶段
  • 业务规划定义阶段:业务规划、业务标准设计

  • 应用设计实现阶段:数据模型设计、应用标准设计、应用设计实现、数据录入


数据生命周期管理阶段
  • 数据创建:利用数据模型保证数据完整、执行数据标准保证数据准确、加入数据质量检查创建准确、保证数据在合理的系统生成;

  • 数据使用:利用元数据监控数据使用、利用数据标准保证数据准确、利用数据质量检查加工准确、确保数据在合理的系统使用、控制数据的派生;

  • 数据归档:利用评估手段保证归档时机、分数据类型规档数据;

  • 数据销毁:利用评估手段保证数据销毁时机,分数据类型销毁数据。


要求
  • 满足对历史数据查询相关政策和管理制度的要求

  • 满足业务操作和管理分析的需要

  • 满足审计管理要求

  • 减少数据冗余,提高数据一致性

  • 存储、硬件、运维等方面基础设施投入

  • 提升应用系统性能,提高响应速度

3.2、管理要求和手段

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/0fd0b64bfe774242c0e05870e5201f39..jpg

3.3、管理规范和管理办法

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/4c3c149cc1bb65e6d576f251220e0fdd..jpg

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群