什么是数据建模?
数据建模(Data Modeling)是识别业务中的对象、属性、关系与规则,并用明确结构表达它们的过程。模型告诉人们:一条数据代表什么,哪些数据可以关联,哪些约束必须满足,以及系统应如何保存和使用这些信息。
例如,“客户可以创建多个订单,订单包含多个商品”就是建模要表达的关系。数据建模通常不是训练预测模型,也不只是画一张数据库关系图。AWS 的数据建模介绍讨论了从业务概念到具体数据结构的过程。
为什么需要数据模型?
如果没有模型,各团队很容易对同一字段产生不同理解。“客户”可能指个人、企业、账户或门店;“一笔订单”可能指整张订单,也可能指其中一行商品。
这些差异会直接影响关联与计算。把订单总额复制到每一行商品记录后再求和,可能重复统计。清楚的模型能够提前规定每行数据的含义,让后续开发、分析和共享建立在共同理解上。
模型还帮助识别数据缺口。例如要分析客户复购,就必须知道订单与客户如何关联;要还原历史组织业绩,就需要考虑组织归属发生变化时,历史记录如何解释。
概念模型、逻辑模型和物理模型有什么区别?
概念模型首先描述业务对象和关系,例如客户、订单与商品。它适合让业务人员与技术人员确认“谈的是不是同一件事”,通常不关心具体数据库的字段类型。
逻辑模型进一步明确属性、标识和约束,例如订单编号唯一、订单属于某个客户、订单明细对应具体商品。物理模型再考虑具体技术实现,包括表、列、数据类型、索引、分区和存储方式。
这三个层次是理解模型的常用方法,不要求所有项目都产出三套庞大文档。关键在于先说明业务含义,再考虑怎样实现,避免让现有系统的偶然字段设计替代业务定义。
一个订单模型如何影响统计结果?
以下是说明性例子。
一张订单包含两种商品,另有一次整单优惠。若模型只保留订单总额,就能统计订单收入,却难以准确分析每种商品分摊了多少优惠。
若需要商品维度利润分析,就要明确明细粒度,以及整单优惠如何分配到商品。按标价比例分摊与平均分摊会产生不同结果;模型必须保留规则,而不是只提供一个含义不明的“实收金额”。
退款也可能发生在不同时间、针对不同商品。将退款建成独立业务事件,还是更新原订单状态,会影响历史分析方式。这里没有脱离用途的唯一答案,但必须能够解释数据变化。
常见建模方法各自关注什么?
| 方法或结构 | 主要关注点 |
|---|---|
| 实体关系建模 | 业务对象及其联系,常用于业务系统设计 |
| 维度建模 | 围绕业务过程组织事实与维度,方便分析 |
| 文档模型 | 将关联内容组织为文档,适应特定访问方式 |
| 图模型 | 明确表达对象之间的关系,适合关系遍历 |
这些方法不是简单的先进与落后之分。交易处理、经营分析和关系探索具有不同访问模式,相同业务可能在不同系统中采用不同模型。
Kimball 关于粒度的说明强调,应先明确一条事实记录代表的业务事件,再选择维度与度量,这对分析建模尤其重要。
好的数据模型需要考虑哪些边界?
模型既要准确,也要便于维护。过度拆分可能让查询需要大量关联;过度合并则可能造成重复、歧义和更新困难。模型还要考虑时间变化、异常记录以及无法匹配的对象。
业务会改变,模型也需要演进。新增字段不一定有影响,但更改“客户”定义或记录粒度,可能改变所有下游报告的含义。模型说明、变更记录与使用范围,应与数据结构一起维护。
数据模型为什么也需要表达时间?
现实对象会变化:客户搬迁、商品改类、部门调整,都会影响数据解释。只保存当前状态,适合回答现在是什么,却可能无法还原过去;保留历史版本,则需要说明各版本何时有效。
例如员工今年转到新部门,去年业绩可以按当时部门统计,也可以按当前组织重新观察。两种问题都合理,但应使用不同时间关系,不能在没有说明时混用。
模型还要区分未知与不存在。没有填写客户地区,可能是尚未采集;没有订单,才可能表示没有购买。把两者都写成同一个默认值,会让分析失去重要差异。
因此,建模不仅组织正常路径,也要表达变化、缺失与异常。一个好模型不必覆盖所有想象中的情况,但应对关键业务边界有清楚约定。模型越能说明一行记录代表什么、何时成立,后续使用越不容易依赖个人猜测。
袋鼠云可以提供哪些相关能力?
袋鼠云 BatchWorks支持数仓开发与数据加工,MetaDataAssets帮助管理数据定义、元数据与关联关系,可配合承接模型落地和理解复用的需求。

