DataFun实时数据湖技术探索与工程实践分享

在实时数据处理需求日益增长的背景下，传统Lambda架构面临复杂性高、存储成本高、流批数据口径不一致等痛点。企业需要维护流批双链路的不同组件，Kafka中间数据难以查询，两份相同数据的存储带来资源浪费。如何构建一套流批一体、存储成本低、数据口径统一的实时数据湖架构，成为大数据领域的核心课题。

本资料来自袋鼠云在DataFun 2023的技术分享，详细介绍了袋鼠云基于数栈平台在实时数据湖领域的探索与实践。

内容涵盖实时数据湖的核心价值解读（Hudi、Iceberg、Delta、Paimon等表格式对比）、CDC数据实时入湖的全链路方案设计，以及在落地过程中遇到的小文件治理、Flink版本适配、跨集群入湖等关键问题的解决方案。资料还深入讲解了基于数据湖的物化视图实现原理，通过流批和OLAP任务之间的共享来降低数据链路延时，并展望了引入Paimon、提升入湖性能、安全性探索等未来规划方向。