博客 数据架构与数据模型

数据架构与数据模型

   数栈君   发表于 2023-12-05 09:58  101  0

数据架构与数据模型

数据架构与数据模型两者关系经常是讨论的热点。 因为数据架构里面主要工作和产物就是数据建模和数据模型,那为什么要将两者作为独立的两个过程域。 本文将对此问题进行探讨。



在《数据管理知识手册》(DMBOK 2)的第二版中,数据架构定义为管理数据资产的蓝图”

从广义上讲,数据架构会定义,'我们作为一家企业要做什么数字化业务?最适合该目的的技术是什么,以及它们如何协同工作?”

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3432988294655925705a3038760085de..png



另一方面,数据架构是企业架构(Enterprise Architecture)的一部分。 企业架构从更宏观的视角看待业务和IT,包括业务流程,业务组织架构和业务目标。这对数据架构以及安全性和合规性都很重要。

数据架构还需要决策哪个最佳平台是适合当前业务目标的,是否迁移到基于云的解决方案,产品业务相关的安全风险,以及数据库的选择。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/45fc505695d201103e73d7fc6016baef..png

在许多公司数据化转型中,要做的第一件事就是绘制其现有架构图。

数据的独特之处在于它既是业务角色,又是技术角色。有的数据架构师只专注于平台和IT角色,他们的权限仅限于技术层面的决策,例如要使用哪种服务器或备份和恢复选项。但真正的架构师必须对业务也熟悉,像首席数据官一样。”

当企业的数据需求超过IT部门满足这些需求的能力时,IT部门可能会感到压力巨大。

企业实际情况是业务人员缺乏IT信息无法构建解决方案,而IT人员专注于技术忽略了业务需求。许多公司正在通过创建一个新的数据部门来解决这种情况,该部门业务和IT紧密配合,因为两者缺一个都不行,需要这两个技能的综合体。



数据模型的定义

DMBOK 2将数据建模和设计定义为“数据模型是形式化的表达和沟通数据需求的过程和产物”。数据模型通过对实体、关系和属性等描述,使组织能够理解其数据资产。如业务的核心概念,客户、产品、员工等。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a64c745acc11a0da1c0b3c112838fee5..png

数据建模从业务和技术角度设计。“数据建模师可能擅长对特定系统或特定业务案例进行建模。但数据架构师必须看得更广泛,“数据建模通常对物理层上特定数据库的设计,或逻辑、概念层上特定业务领域的设计。



需要将数据架构和数据建模,与组织过程结合起来。

数据架构和数据建模应该与组织的核心业务流程和活动保持一致。

例如,当销售部门想要购买一个新的电子商务平台时,它需要集成到整个体系结构中。如果不知道现有的数据输入和输出流程是什么,就很难知道新平台如何集成。“数据模型通常就是在这里出现的。试着比较两个系统的数据,我们如何整合?找出系统间的关联关系”

在较高的层次上,数据模型记录了企业核心的业务对象和业务规则:客户、产品、部件等。不需要花几个月的时间去创建一个完美的数据模型,不断迭代和沉淀,即使只是问一些简单的描述,对数据资产的理解也能起到很大的作用。

一位即将实施一个新系统的客户,他们召集所有人一起进行两小时的实施前数据模型的评审会议。在这个过程中,他们发现了一些重大的错误。结果他们很高兴把一些问题扼杀在萌芽状态,否则这将是未来的噩梦。
另一个客户购买了多个系统,但他们的数仓遗漏一个设计来支持一个客户可以有多个电子邮件地址。他们花了数周重构数仓才解决。如果更早关注数据模型设计,他们就会知道设计与他们的业务规则不匹配。
另一家公司正在建设一个人力资源系统,员工可以担任多个工作角色,在数据模型设计中表明“员工可能有多个角色。这是数据建模的基本常识,但他们没有关注数据模型的设计。现在公司检查每一个业务系统,并将其与他们的企业级数据模型进行比较,因为“他们的企业级数据模型就是他们的业务运营模式。
另一个更大的客户现在要求供应商在交付软件之前遵守特定的数据标准。因为他们是一家大公司,基于他们的购买力,供应商必须遵守相关规则。公司对其系统的数据模型进行管控,后面数据资产的集成和服务就越能顺利进行。



随着数据中台的负面声音越来越多。 企业将回归基础,数据治理和企业架构曾经被认为是“老派”(Old school)。当一切尘埃落定,喧嚣归于平静,数据基础建设将更加脚踏实地,因为它是行之有效的唯一途径。



这个行业经历了一个“青少年阶段”,一些人说“我们将打破所有的规则,我们不再需要那些愚蠢的数据模型了”。 但我认为我们现在已经走上了更成熟的阶段,深谋远虑的设计,对未来长期发展会有很大的帮助



业务人员越来越意识到数据资产的重要性并参与其中,业务和IT的融合。这些融合最终都体现在数据模型上。数据管理、数据体系结构和数据建模等基础知识的需求正在增加,人们希望探索创新,他们意识到,如果不先建立基础,就是不断的原地踏步。



Datablau Data Modeler简介

DDM(Datablau Data Modeler)是国内首创的专业建模工具,是数据治理体系的重要组成部分。数据模型是“所有系统、文档和流程中包含的所有数据的语境。是生数据的知识。”换句话说,如果没有数据模型,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。


Datablau简介

北京数语科技有限公司(以下简称“数语科技”)成立于2016年,是专注于数据治理领域的国内自主知识产权的专业软件产品提供商,主要业务是数据治理软件产品的研发与销售。数语科技的创始团队全部来自CA erwin,天然具有世界级水准的软件产品开发能力。

创始人兼CEO王琤:曾任职erwin全球研发总监,拥有超过十年以上数据建模和数据管理的从业经验。

CTO朱金宝:曾任职erwin首席架构师,先后服务多家全球知名企业,并曾全程参与中国建设银行数据治理项目,目前全面负责Datablau软件平台的研发工作和关键项目的实施工作。

数语科技根据DAMA理论和中国国情独立研发Datablau新一代数据治理平台,平台由Datablau DDM数据建模产品和Datablau DAM数据资产管理平台两大部分组成,全部拥有软件著作权和知识产权,一站式全面满足中国企业的数据治理需求。其中数据建模产品DDM是Datablau填补国内空白的重量级产品,帮助中国客户摆脱国外产品的垄断现状。2018年,Datablau数据治理平台通过了中国信息通信研究院严格苛刻的产品评测并获得的“最佳大数据产品”奖。
————————————————
版权声明:本文为CSDN博主「datablau国产数据库建模工具」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_39971741/article/details/106974732

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群