SpringBoot的扩展点之ApplicationContextInitializer
Hudi Spark-SQL增量查询数据几种方式
知识百科 • 数栈君 发表了文章 • 0 个评论 • 195 次浏览 • 2023-11-22 15:22
前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。编程方式（DF+SQ... ...查看全部
带你彻底理解Hudi Upsert原理
知识百科 • 数栈君 发表了文章 • 0 个评论 • 908 次浏览 • 2023-11-22 15:13
1.hudi的介绍Hudi 是什么Hudi（Hadoop Upserts Deletes and Incrementals缩写）：用于管理分布式文件系统DFS上大型分析数据集存储。一言以蔽之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DF... ...查看全部
Hudi Spark-SQL增量查询数据几种方式
知识百科 • 数栈君 发表了文章 • 0 个评论 • 195 次浏览 • 2023-11-22 15:22
前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。编程方式（DF+SQ... ...查看全部
带你彻底理解Hudi Upsert原理
知识百科 • 数栈君 发表了文章 • 0 个评论 • 908 次浏览 • 2023-11-22 15:13
1.hudi的介绍Hudi 是什么Hudi（Hadoop Upserts Deletes and Incrementals缩写）：用于管理分布式文件系统DFS上大型分析数据集存储。一言以蔽之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DF... ...查看全部
