使用Flink处理Kafka中的数据_题库子任务_Java语言实现
Spring Boot 应用Kafka讲解和案例示范
网友分享 • 数栈君 发表了文章 • 0 个评论 • 277 次浏览 • 2025-01-10 10:30
Kafka 是一款高吞吐量、低延迟的分布式消息系统。本文将详细介绍如何在 Spring Boot 项目中使用 Kafka 进行消息接收与消费，并结合幂等和重试机制，确保消息消费的可靠性和系统的扩展性。我们将以电商交易系统为案例进行深入解析。1. 系统架构概览在... ...查看全部
Hudi Spark-SQL增量查询数据几种方式
知识百科 • 数栈君 发表了文章 • 0 个评论 • 656 次浏览 • 2023-11-22 15:22
前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。编程方式（DF+SQ... ...查看全部
带你彻底理解Hudi Upsert原理
知识百科 • 数栈君 发表了文章 • 0 个评论 • 3752 次浏览 • 2023-11-22 15:13
1.hudi的介绍Hudi 是什么Hudi（Hadoop Upserts Deletes and Incrementals缩写）：用于管理分布式文件系统DFS上大型分析数据集存储。一言以蔽之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DF... ...查看全部
kafka多线程消费
知识百科 • 数栈君 发表了文章 • 0 个评论 • 413 次浏览 • 2023-05-11 13:51
Apache Kafka 是一个分布式流处理平台，其设计支持多线程消费。在Kafka中，消息是按照主题（Topic）进行发布和订阅的，并且每个主题可以被划分为多个分区（Partition），消费者通过消费组（Consumer Group）来订阅主题并消费其中的... ...查看全部
Spring Boot 应用Kafka讲解和案例示范
网友分享 • 数栈君 发表了文章 • 0 个评论 • 277 次浏览 • 2025-01-10 10:30
Kafka 是一款高吞吐量、低延迟的分布式消息系统。本文将详细介绍如何在 Spring Boot 项目中使用 Kafka 进行消息接收与消费，并结合幂等和重试机制，确保消息消费的可靠性和系统的扩展性。我们将以电商交易系统为案例进行深入解析。1. 系统架构概览在... ...查看全部
Hudi Spark-SQL增量查询数据几种方式
知识百科 • 数栈君 发表了文章 • 0 个评论 • 656 次浏览 • 2023-11-22 15:22
前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。编程方式（DF+SQ... ...查看全部
带你彻底理解Hudi Upsert原理
知识百科 • 数栈君 发表了文章 • 0 个评论 • 3752 次浏览 • 2023-11-22 15:13
1.hudi的介绍Hudi 是什么Hudi（Hadoop Upserts Deletes and Incrementals缩写）：用于管理分布式文件系统DFS上大型分析数据集存储。一言以蔽之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DF... ...查看全部
kafka多线程消费
知识百科 • 数栈君 发表了文章 • 0 个评论 • 413 次浏览 • 2023-05-11 13:51
Apache Kafka 是一个分布式流处理平台，其设计支持多线程消费。在Kafka中，消息是按照主题（Topic）进行发布和订阅的，并且每个主题可以被划分为多个分区（Partition），消费者通过消费组（Consumer Group）来订阅主题并消费其中的... ...查看全部
