实时湖仓并不是一个独立的产品模块，它的完整实践是基于数栈实时开发平台进行的。为了更直观地介绍我们建设实时湖仓的完整思路，我们单独拆出了架构图供大家参考。

湖仓管理是建设实时湖仓的基础，通过这一层的建设，你可以：

· 借助 Flink Catalog 管理，构建一套虚拟湖仓分层架构，类似传统离线数仓中的主题域、DW 分层设计

· 可视化创建湖表，平台支持 Paimon、Hudi、Iceberg 三种湖表创建，并分别提供对应的 DDL DEMO

· 通过 Flink 表管理，持久化存储基于 RDB、Kafka 创建的 Flink 映射表，和湖表一起，为实时计算提供表管理能力

· 作为实时计算领域最常用的数据介质，平台同时也支持对 Kafka Topic 进行基础的增删改查、数据统计分析等功能

湖仓开发是建设实时湖仓的核心能力，按应用场景主要分为：

· 数据入湖：通过实时消费 Kafka，或者读取 RDB 的 CDC 数据，将业务数据实时打入数据湖，构建实时湖仓的 ODS 层，为后续的流/批读写提供统一的数据基础

· 湖仓加工：借助湖表格式的事务特性、快照特性等能力，通过 FlinkSQL 任务读写湖表，构建湖仓中间层

· 流批一体：在湖仓加工过程中，根据不同的业务场景，可以选择流读或批读。在流批一体的设计上，你可以选择先批读存量数据，无缝衔接流读增量数据；也可以选择流读增量数据，批读进行数据订正

在湖仓开发过程中，我们可以通过湖仓治理能力，不断优化完善实时湖仓：

· 湖表文件治理：在湖仓开发过程中，会产生大量小文件、过期快照、孤儿文件等数据，严重影响湖表的读写性能。通过文件治理功能，可以定期合并小文件、清理过期快照/孤儿文件，提高开发效率

· 元数据查询：在提供 Catalog/Database/Table 基础信息查询的同时，会对湖表的存储、行数、任务依赖等信息进行统计，方便全局判断湖表价值

· Hive 表转换：对于历史 Hive 表，平台支持在不影响历史数据的前提下，一键转换表类型

下面通过一个数开案例，详细介绍如何在平台实现数据入湖、湖仓开发、湖仓治理。

● 先创建 DB2-CDC 的 Flink 映射表和 Paimon 湖表

● 开发入湖任务

● 创建 PaimonB 

● 开发读写湖表任务

平台支持读写参数的配置化开发，无需在 SQL 代码中定义，从而极大地提高了开发效率。例如，在湖表读取时选择时间戳，如果使用 SQL 开发，需要先在后台查询快照数据，并进行时间戳转换才能理解。而通过配置化方式，可以直接选择或输入日期时间，在提交任务时自动进行时间戳转换。

● 元数据查询

提供 Catalog、Database、湖表（Paimon/Hudi/Iceberg）、Flink 映射表的元数据查询。

● 数据文件治理

湖表的读写，特别是实时场景下的读写，会产生大量的小文件，小文件过多又会影响读取性能。因此对于湖表文件的治理功能，是建设实时湖仓必不可缺的一部分。