下图是一个经典的 Lambda 架构，虽然这套架构的优点很明显：技术方案成熟、应用实践广泛，适用于企业发展过程中各阶段、各场景下的大数据开发需求。

但是，随着业务对数据时效性要求的提高，许多企业的实时任务体量，正在逐步接近存量离线任务。在数据开发和运维资源有限的情况下，这套架构的问题正在逐渐暴露出来：

· 离线开发链路中的数据更新问题，在当前技术环境下显得越来越难以容忍

· 实时开发链路中的数据不落地问题，无法支持历史数据回溯、查询分析等场景

· 多种计算引擎，造成数据开发学习成本和运维管理成本的居高不下

· 多种存储介质，造成数据存储冗余、批/流数据不一致

· ……

下图是一种实时湖仓解决方案，利用湖存储的特性和 Flink 的流批计算能力，统一存储和计算，解决 Lambda 架构的问题。

下面将就袋鼠云的实践经验，展开说说如何使用“Flink+数据湖”三步构建实时湖仓。

● Step1：搭建实时 ODS 层

● Step2：加工湖仓中间层

关于实时湖仓的层级设计，可以参考成熟的离线数仓划分方案。

· DataFile 用于存量数据的批计算

· LogFile 用于增量数据的流计算，但毕竟是一种文件存储格式，其实时性只能做到分钟级别。如果业务场景对实时性有秒级/毫秒级要求，Paimon 也支持将 Kafka 外挂为 LogFile 使用，同时对上层应用暴露的，仍然只有一张 Paimon 表。

根据实际业务场景需要，使用 Flink+Paimon 的统一技术栈，进行离线任务和实时任务的独立开发。

在很多实时统计类的数据开发场景下，往往需要在完成存量数据统计的基础上，再衔接实时增量计算。传统的 Lambda 架构要完成这种场景，实现上相对比较复杂，而使用 Flink+Paimon，一个任务即可满足。

● Step3：湖仓分析应用层

这层有两种不同的落地方案，可以根据企业技术栈自由选型：

· ADS 层数据也在数据湖加工落地，然后使用 OLAP 引擎如 Trino、StarRocks 直接对接数据湖，向上层提供数据分析能力。这样做可以实现存储的完全统一，但是在查询分析性能上会有一定的牺牲。

· 将 DWS 层数据加工后打入 StarRocks 或者 ClickHouse 这类存储+分析的统一引擎。该方案可以充分利用这类引擎的查询加速能力，对于 OLAP 场景有较高要求的企业，是个比较合适的方案。

目前业内比较热门的探索实践，不依赖 Hadoop 体系，仅利用 StarRocks/Doris 构建实时数仓的方式，大致的架构图如下：

本文根据《实时湖仓实践五讲第一期》直播内容总结而来，感兴趣的朋友们可点击链接观看直播回放视频及免费获取直播课件：

直播课件：

https://www.dtstack.com/resources/1050?src=szgzh

《数据治理行业实践白皮书》下载地址：https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址：https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs

同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：https://github.com/DTStack