什么是数据仓库?

数据仓库(Data Warehouse)是为统计分析、历史比较和经营决策而建设的数据存储与管理体系。它通常把多个业务系统的数据整理到相对统一的结构中,让使用者能够分析某段时间发生了什么、不同业务之间有什么关系,以及变化趋势如何。

与直接保存交易的业务数据库相比,数据仓库更重视跨来源整合、历史保留和分析查询。AWS 的数据仓库介绍也将其定位为面向分析的集中存储库。这里的“集中”可以是统一的逻辑视图,并不要求所有数据都在同一台机器上。

为什么不能直接分析业务数据库?

业务数据库要快速、准确地完成单笔交易。例如订单系统需要检查库存、记录付款和更新状态,往往围绕这些操作设计表结构。经营分析则需要读取大量记录、关联商品与渠道,甚至对比几年的变化。

两种工作对系统的要求不同。复杂分析可能占用交易资源,多个业务系统之间的编码和字段含义也未必一致。数据仓库将分析处理组织到独立环境,并在使用前处理这些差异。

它还可以保留某些业务系统不会长期保存的历史状态。例如客户当前属于哪个区域,与客户成交当时属于哪个区域,是两个不同问题。是否保留这种变化,直接影响历史报告能否被正确解释。

数据仓库怎样工作?

  • 典型过程是接入、整理、建模和使用。接入阶段从数据库、文件或事件流取得数据;
  • 整理阶段统一格式、处理重复和检查缺失;
  • 建模阶段按业务主题组织明细、维度和汇总结果;
  • 使用阶段通过 SQL、报表或分析应用提供答案。

这里的“模型”主要指数据结构和业务关系,不是机器学习模型。商品、门店、日期可以作为分析维度,销售金额和数量可以作为度量。把它们组织起来,使用者就能按不同角度观察同一业务过程。

现代数仓也可能接收持续更新的数据,或支持半结构化数据。因此,数据仓库不等于“只能每天更新一次的传统关系数据库”。更新方式和支持类型取决于具体技术与设计。

一个销售分析例子

以下是说明性例子。

企业希望比较各地区每月的净销售额。订单系统记录支付,售后系统记录退款,商品系统记录品类。如果直接汇总订单金额,可能忽略退款;如果按当前商品分类回看历史,又可能改变过去报表的含义。

数据仓库需要先说明净销售额的计算规则,再把订单和退款关联起来,明确使用交易时还是当前的地区、品类信息。完成这些定义后,月度汇总表才有稳定含义。

假设一笔订单本月支付、下月退款,那么“本月收入”和“本月支付订单最终净额”会出现差异。这不是计算引擎能自动决定的问题,而是需要业务定义的分析口径。数仓使规则能够被一致执行和追溯。

数据仓库、数据湖和数据集市有何区别?

概念 常见用途
数据仓库 组织经过定义、适合统计分析的数据
数据湖 保存多类型原始与加工数据,支持多种探索用途
数据集市 面向特定部门或主题提供较聚焦的分析数据

数据集市可以是企业数仓的一部分。数据湖与数仓也可以组合:原始日志先进入数据湖,再把稳定的经营主题加工成数仓模型。湖仓一体则尝试让共享存储同时具备更完善的表管理与分析能力,并不是取消所有模型设计。

数据仓库有哪些优势和限制?

它可以减少同类分析反复清洗数据的工作,为历史比较提供统一基础,并把重型分析与交易处理分开。但这些收益依赖持续维护:源数据错误不会因为进入数仓就自动消失,业务定义变化也需要更新模型和说明。

建设数仓还会增加数据副本、处理资源和维护成本。如果只是读取少量业务记录,普通数据库就可能足够。对于大量图片、音视频或用途尚不确定的探索任务,单靠传统表格模型也未必合适。

评价数仓时,应同时关注结果正确性、更新及时性和查询体验。很快返回一个口径不明的数字,并不代表数仓已经发挥作用。

数仓里的历史为什么可能发生变化?

历史数据并不一定永远不改。迟到订单、后续退款、来源纠错和口径调整,都可能要求修正过去结果。重要的是区分正常业务补充、错误修复与定义变更,并说明是否重算。

例如按支付日观察当时成交,与按订单最终状态回看历史,会得到不同结果。前者强调当时发生的事实,后者强调后续完整结局,两者都可能有用,但不宜共用一个没有说明的指标。

因此,数仓需要管理业务发生时间、数据进入时间和计算版本等背景。有时还需要保存旧结果,支持理解某次决策当时基于什么资料。保留到什么程度,应与追溯需求和成本匹配。

数据仓库的稳定性主要指规则和含义可解释,并不意味着历史绝不变化。使用者看到数字被修正时,应能够找到原因和影响范围,而不是只能接受“系统重新算了一遍”的模糊解释。

袋鼠云可以提供哪些相关能力?

袋鼠云 BatchWorks面向数据集成、开发、调度与离线数仓加工,EasyMR提供相关存储、计算和运行管理能力,可共同支撑数仓建设中的开发与底座需求。

返回概念目录