什么是数仓分层?
数仓分层是按照数据的来源、加工程度、复用范围和消费目的,将数据仓库中的数据组织成不同层次的方法。它帮助区分原始记录、统一明细、公共汇总和面向应用的结果,减少重复处理,并让数据变化更容易追溯。
分层是一种设计方法,没有所有企业都必须遵循的唯一命名。ODS、DWD、DWS 和 ADS 是国内实践中的常见名称;有的体系另设 DIM 维度层,也有团队采用不同划分。阿里云的数仓分层说明给出了其中一种具体体系。
常见层次分别做什么?
原始接入层保留从来源取得的数据及必要描述,便于追溯与重新加工。明细层统一编码、类型和业务规则,形成粒度明确、适合复用的业务记录。
公共汇总层围绕主题沉淀经常使用的统计,例如按日、商品和门店汇总销售。应用层则面向具体报表或业务功能,组织最适合消费的结果。维度数据描述商品、客户、日期等分析背景,可以被多个事实过程共同使用。
这些是职责划分,不意味着每张表都必须机械经过全部层次。某些简单查询可以直接消费可靠明细,某些指标则需要专门汇总来改善性能。
为什么不能所有报表直接读取原始表?
原始表通常反映来源系统的结构与习惯。不同报表分别处理单位、状态与去重,容易产生重复劳动和口径分歧;来源字段改变后,也需要到处修改。
公共明细把稳定的处理规则集中起来,公共汇总进一步复用常见统计。应用层可以围绕展示与业务需求变化,而不必每次重新理解所有来源。
但过多分层也会产生额外副本、等待和依赖。每增加一层,都应该解释它承担了什么职责,而不能把层数本身当作成熟度。
用退款分析理解分层
以下是说明性例子。
订单与退款分别来自两个系统。原始层保存各自记录,明细层统一订单标识并处理状态,公共汇总计算每天各品类的支付与退款,应用层生成经营报表。
后来业务决定新增“按退款申请日观察售后压力”的分析。该需求与“按支付日计算最终净销售额”不同,可以基于同一套明细形成新的汇总,而不必修改旧指标的含义。
如果原始层就把全部数据压成一个净额,很多后续问题将难以回答。因此,分层也在平衡信息保留与消费便利:上层更容易使用,下层保留更多追溯和重新组合的可能。
数仓分层与维度建模有什么区别?
分层回答“数据加工与交付按什么职责组织”,维度建模回答“如何用事实、维度与粒度表达业务分析”。维度模型可以出现在明细与汇总体系中,二者可以配合。
分层也不等于权限分级。某层接近原始数据,不代表天然更敏感;某层经过汇总,也不代表可以无条件公开。访问控制应根据数据内容与使用目的制定。
怎样避免分层变成数据堆积?
每层应有明确输入、输出、规则和使用者。表命名能辅助理解,但真正重要的是粒度、负责人、更新时间和依赖说明。长期无人使用的结果,应考虑停用或归档。
还需要控制跨层直接依赖。如果应用绕开已经统一的明细,重新从来源计算,就可能再次形成不同口径。另一方面,也不能为了形式要求,让明显简单的需求穿过很多无实质变化的复制步骤。
比较合理的原则是:稳定共性放在可复用位置,个性需求靠近消费端,原始信息按必要范围保留。分层应降低理解与变更成本,而不是制造更多流程。
小型团队也需要复杂分层吗?
不一定。数据源少、模型简单时,可以用较少层次清楚区分原始与使用结果。随着复用增加,再逐步拆出公共模型与汇总。概念上的职责清晰,比一开始建立完整缩写体系更重要。
分层之后为什么仍然会出现重复建设?
如果使用者不知道已有模型,或者公共结果不符合实际需求,就可能重新从原始数据加工。分层名称存在,并不代表复用已经发生。
需要让公共层容易发现、含义明确且更新可靠。个性需求也应有适当位置,避免为了复用把不相关规则塞进同一模型,最终让公共表越来越难理解。
数据层与文件目录还不是一回事。逻辑上承担相同职责的数据,可能分布在不同存储;同一数据库里也可能包含多个层次。层次应由职责定义,而不只是路径名称。
分层可以逐步演进:先保留必要原始信息,形成可靠明细,再把反复出现的统计抽成公共结果。每一步都应减少真实重复或改善使用。若某层只是复制改名,没有新的解释、质量或性能作用,就需要重新考虑它是否值得长期维护。
袋鼠云可以提供哪些相关能力?
袋鼠云 BatchWorks可承接不同层次的数据加工、依赖调度与运维,帮助维护从来源到应用结果的处理关系。具体分层应依据业务复用与数据复杂程度确定。

