Apache Doris 物化视图与查询优化实践指南

判断"要不要建物化视图"的核心不是查询多慢，而是慢查询能不能复用。Doris 的物化视图（Materialized View）本质是用预计算换查询时间：把频繁执行的聚合、连接结果提前算好存下来，查询命中时由优化器透明改写。所以决策主线是一条权衡：复用性越高、查询模式越固定，物化视图的收益越大；构建与刷新成本越高、查询越随意，直接优化基表 SQL 反而更划算。本文按这条主线给出选型、落地与维护方法。

先判断：你的慢查询适不适合物化视图

拿一张场景清单过滤。适合建物化视图的查询通常有这些特征：

• 同一份聚合/连接逻辑被多个报表、看板、接口反复执行，只是过滤条件不同；
• 查询在亿级大表上做多表 JOIN 加分组聚合，响应时间以秒计；
• 数据是周期更新的（T+1、小时级），可以接受预计算结果的轻微滞后；
• 查询模式相对固定，能被"基表 + 聚合函数 + 过滤维度"这类模板表达。

不适合的场景：

• 一次性、探索式 ad-hoc 查询，复用周期很短，物化视图永远在"刚建好就过期"；
• 查询条件组合爆炸，维度、过滤、粒度都不可预测，命中率极低；
• 需要写入后毫秒级可见的实时一致性，物化视图的刷新周期满足不了；
• 查询逻辑里有物化视图无法表达的算子（如部分窗口函数、非确定性函数）。

判断时算一笔账：收益 = 查询次数 × 单次节省时间，成本 = 刷新计算 + 存储 + 维护人力。查询一天跑 100 次、每次省 5 秒，收益约 500 秒/天；而一个每小时全量刷新的物化视图可能吃掉一整个 Executor 的资源。前者值得建，后者要想清楚。

同步与异步物化视图：两种成本的取舍

Doris 的物化视图分两类，差异本质是"维护成本由谁承担"。

同步物化视图（Synchronous Materialized View）在基表数据写入时同步维护，查询由优化器自动透明改写，无需单独调度刷新。它的优点是零额外运维、数据强一致；代价是能力受限：通常面向单表，支持的聚合（SUM、COUNT、MIN、MAX 以及 BITMAP_UNION、HLL_UNION 等）和表达式有限，复杂多表 JOIN 表达不了。适合"单张大表 + 固定几种聚合"的经典预聚合场景，比如明细表按天、按维度预聚合出多维汇总。

异步物化视图（Asynchronous Materialized View，Doris 2.1 起）支持多表 JOIN、更丰富的查询表达式，刷新策略可控（MANUAL 手动、AUTO、SCHEDULE 定时，部分版本支持 ON COMMIT，以对应版本文档为准）。代价是：你要为它规划刷新窗口、处理刷新失败重试、承担额外存储。它适合报表层、汇总层这类"离线算好、在线查询"的多表场景，具体语法可参考官方异步物化视图使用指南（4.x 版本文档亦适用）。

选型口诀：单表简单聚合用同步，多表复杂预计算用异步；同步视图的约束是硬边界，别硬塞多表 JOIN 进去。

按 SQL 模式分组，而不是按表盲目建

一个常见失败模式是"这张表慢，给它建个物化视图"。表是载体，慢的是查询模式。正确的做法是先做 SQL 画像：

1. 从审计日志或慢查询平台拉出 TOP 慢查询，按"表 + 聚合维度 + 过滤条件"聚类；
2. 识别出 2-3 个高频模式，例如"按天、按部门统计订单金额与订单数"、"按用户维度的近 30 天累计指标"；
3. 为每个高频模式设计一个物化视图，让它的查询语句能覆盖这一簇 SQL（聚合列、维度列、过滤列尽量对齐）；
4. 低命中率的散查询不进物化视图，留给基表优化（分区分桶裁剪、SQL 改写）。

这样建出来的物化视图命中率高，且不会因为"一个视图想覆盖所有查询"而被迫设计出巨大、刷新昂贵的结构。

透明改写：命中与命不中

透明改写（Transparent Rewrite）是物化视图加速查询的机制：查询提交后，Doris 优化器判断物化视图能否覆盖该查询，能则改写执行计划走预计算结果。需要注意：

• 覆盖不是等价就行：聚合粒度、维度列、过滤条件、连接方式都要能被改写规则映射，粒度比视图更细或聚合函数不匹配时改写失败；
• 改写依赖统计信息：优化器需要知道物化视图与基表的行数、大小，才能判断"走视图"是否真的更便宜；没有统计信息时可能不命中，或命中了但选择错误；
• 开关要确认：异步物化视图默认参与查询改写，但可通过属性（如 USE FOR OPTIMIZATION）控制；按版本核对默认行为，避免视图被建成后既不参与改写、又白白占用刷新资源。

排障时用 EXPLAIN 看执行计划：物理计划里是否出现物化视图的名字。没出现，先查覆盖条件，再查统计信息，最后查开关配置。

刷新策略：用分区物化视图控成本

刷新是物化视图最大的隐性成本。全量刷新在大表上每次都是一次完整重算，数据量大时窗口根本排不开。控成本的关键是分区物化视图：

• 基表是分区表、物化视图的查询包含分区列时，可以让视图与基表建立分区映射，刷新时只重算发生变化的分区，而不是整表；
• 增量写入的批次只影响当天分区，配合 ON SCHEDULE 定时刷新（如每小时刷当日分区），可以做到"日积月累的全量数据 + 接近实时的增量可见"；
• 分区粒度不要太细：按分钟、小时分区会让分区数量爆炸，刷新调度的裁剪收益被管理开销吃掉，日级、小时级分区通常是平衡点。

刷新窗口建议放在业务低峰：T+1 场景放凌晨，实时性要求高的场景每小时刷一次当日分区即可，避免刷新作业和在线查询抢资源。

统计信息维护：别让优化器"盲选"

物化视图要发挥价值，统计信息得跟上：

• 定期对基表和物化视图执行 ANALYZE TABLE 收集行数、大小、列统计（Doris 也支持按需的自动收集配置）；
• 数据量级发生跳变（大促、迁移、回刷）后重新分析，否则优化器按旧统计决策，可能不用视图或选错连接顺序；
• 把"统计信息新鲜度"纳入物化视图监控：视图建了、刷新了，但如果统计信息过期，改写效果会打折扣。

落地顺序建议

1. 先做 SQL 画像，筛出高频可复用查询模式（这一步决定收益上限）；
2. 单表简单聚合优先同步物化视图，多表预计算用异步物化视图；
3. 分区表用分区物化视图，按分区增量刷新；
4. 用 EXPLAIN 验证透明改写命中，缺统计信息就 ANALYZE；
5. 建立监控：视图命中率、刷新时长、失败次数，纳入日常巡检。

物化视图不是 Doris 查询优化的唯一手段，但它是"高复用慢查询"场景投入产出比最高的手段之一。先算复用账，再选同步异步，用分区控刷新成本，用统计信息保命中率，这套流程可以覆盖大多数 Doris 复杂查询加速需求。