基于Flink Hudi的增量ETL架构
ETL详解--数据仓库技术
网友分享 • 数栈君 发表了文章 • 0 个评论 • 440 次浏览 • 2024-07-31 15:06
一、ETL简介ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。它是一种数据处理过程，用于从不同的数据源中提取数据... ...查看全部
ETL入门：构建你的第一个数据提取、转换、加载流程
知识百科 • 数栈君 发表了文章 • 0 个评论 • 495 次浏览 • 2024-04-24 11:57
在当今信息快速迭代的时代，企业对于处理和分析数据的需求日益增长。ETL（Extract, Transform, Load）作为一种数据管道技术，它能够从各种来源提取数据、进行必要的转换，并将数据加载到目标系统或数据仓库中。这一过程对于数据分析和决策支持至关重要... ...查看全部
Hudi Spark-SQL增量查询数据几种方式
知识百科 • 数栈君 发表了文章 • 0 个评论 • 654 次浏览 • 2023-11-22 15:22
前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。编程方式（DF+SQ... ...查看全部
ETL详解--数据仓库技术
网友分享 • 数栈君 发表了文章 • 0 个评论 • 440 次浏览 • 2024-07-31 15:06
一、ETL简介ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。它是一种数据处理过程，用于从不同的数据源中提取数据... ...查看全部
ETL入门：构建你的第一个数据提取、转换、加载流程
知识百科 • 数栈君 发表了文章 • 0 个评论 • 495 次浏览 • 2024-04-24 11:57
在当今信息快速迭代的时代，企业对于处理和分析数据的需求日益增长。ETL（Extract, Transform, Load）作为一种数据管道技术，它能够从各种来源提取数据、进行必要的转换，并将数据加载到目标系统或数据仓库中。这一过程对于数据分析和决策支持至关重要... ...查看全部
Hudi Spark-SQL增量查询数据几种方式
知识百科 • 数栈君 发表了文章 • 0 个评论 • 654 次浏览 • 2023-11-22 15:22
前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。编程方式（DF+SQ... ...查看全部
