基于 Kafka 开发 Ruby 应用的框架 — Karafka - 袋鼠社区-袋鼠云丨数栈丨数据中台丨数据治理丨湖仓一体丨数据开发丨基础软件

Spring Boot 应用Kafka讲解和案例示范

网友分享 • 数栈君发表了文章 • 0 个评论 • 277 次浏览 • 2025-01-10 10:30 • 来自相关话题

Kafka 是一款高吞吐量、低延迟的分布式消息系统。本文将详细介绍如何在 Spring Boot 项目中使用 Kafka 进行消息接收与消费，并结合幂等和重试机制，确保消息消费的可靠性和系统的扩展性。我们将以电商交易系统为案例进行深入解析。1. 系统架构概览在... ...查看全部

Kafka 物理存储机制

知识百科 • 数栈君发表了文章 • 0 个评论 • 224 次浏览 • 2024-11-04 13:56 • 来自相关话题

一、分区分配创建主题时，Kafka首先决定如何在broker之间分配分区。假设有6个broker，打算创建一个包含10个分区的主题。并且复制系数是3，相当于30个分区副本。在被分配到6个broker上时，要达到如下的目标：【1】在broker间平均分配分区副本... ...查看全部

kafka如何保证消息不丢失

知识百科 • 数栈君发表了文章 • 0 个评论 • 250 次浏览 • 2024-11-01 11:46 • 来自相关话题

Kafka发送消息是异步发送的，所以我们不知道消息是否发送成功，所以会可能造成消息丢失。而且Kafka架构是由生产者-服务器端-消费者三种组成部分构成的。要保证消息不丢失，那么主要有三种解决方法。生产者(producer)端处理生产者默认发送消息代码如下：i... ...查看全部

Kafka延迟队列的实现方式

网友分享 • 数栈君发表了文章 • 0 个评论 • 1264 次浏览 • 2024-07-31 15:17 • 来自相关话题

在现代的分布式系统中，延迟队列是一种常见的解决方案，用于处理具有延迟要求的任务或消息。Apache Kafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。本文将介绍如何使用Kafka实现延迟队列，并提供详细的Java示例。什么是延迟队列？... ...查看全部

kafka如何保证消息不丢失

网友分享 • 数栈君发表了文章 • 0 个评论 • 317 次浏览 • 2024-07-24 14:21 • 来自相关话题

kafkastream的集成和入门

网友分享 • 数栈君发表了文章 • 0 个评论 • 347 次浏览 • 2024-07-24 14:17 • 来自相关话题

kafkastream的介绍：Kafka Streams是一个开源的流处理库，用于构建实时数据流应用程序和微服务。它是Apache Kafka项目的一部分，是一种基于事件驱动的流处理解决方案。Kafka Streams提供了高级别的API，使开发人员能够以简单... ...查看全部

CDC 技术：变化数据捕获

知识百科 • 数栈君发表了文章 • 0 个评论 • 405 次浏览 • 2023-11-15 11:02 • 来自相关话题

在YARN上运行Spark的常用配置参数讲解

网友分享 • 数栈君发表了文章 • 0 个评论 • 1058 次浏览 • 2023-11-15 10:57 • 来自相关话题

本文针对在YARN上运行Spark的常用配置参数进行讲解1. 在yarn上启动spark application确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些configs用于写入HDFS并... ...查看全部

大数据篇--Yarn资源队列配置和使用

网友分享 • 数栈君发表了文章 • 0 个评论 • 1247 次浏览 • 2023-11-15 10:54 • 来自相关话题

文章目录一、前言二、调度器的选择 1.FIFO Scheduler： 2.Capacity Scheduler： 3.Fa... ...查看全部

YARN框架概述与集群部署

网友分享 • 数栈君发表了文章 • 0 个评论 • 864 次浏览 • 2023-11-15 10:51 • 来自相关话题

文章目录 1 Apache Hadoop YARN框架概述 1.1 YARN产生和发展简史 1.2 Hadoop演进阶段 1.3 YARN简介 ... ...查看全部

Spring Boot 应用Kafka讲解和案例示范

网友分享 • 数栈君发表了文章 • 0 个评论 • 277 次浏览 • 2025-01-10 10:30 • 来自相关话题

Kafka 物理存储机制

知识百科 • 数栈君发表了文章 • 0 个评论 • 224 次浏览 • 2024-11-04 13:56 • 来自相关话题

kafka如何保证消息不丢失

知识百科 • 数栈君发表了文章 • 0 个评论 • 250 次浏览 • 2024-11-01 11:46 • 来自相关话题

Kafka延迟队列的实现方式

网友分享 • 数栈君发表了文章 • 0 个评论 • 1264 次浏览 • 2024-07-31 15:17 • 来自相关话题

kafka如何保证消息不丢失

网友分享 • 数栈君发表了文章 • 0 个评论 • 317 次浏览 • 2024-07-24 14:21 • 来自相关话题

kafkastream的集成和入门

网友分享 • 数栈君发表了文章 • 0 个评论 • 347 次浏览 • 2024-07-24 14:17 • 来自相关话题

CDC 技术：变化数据捕获

知识百科 • 数栈君发表了文章 • 0 个评论 • 405 次浏览 • 2023-11-15 11:02 • 来自相关话题

在YARN上运行Spark的常用配置参数讲解

网友分享 • 数栈君发表了文章 • 0 个评论 • 1058 次浏览 • 2023-11-15 10:57 • 来自相关话题

大数据篇--Yarn资源队列配置和使用

网友分享 • 数栈君发表了文章 • 0 个评论 • 1247 次浏览 • 2023-11-15 10:54 • 来自相关话题

文章目录一、前言二、调度器的选择 1.FIFO Scheduler： 2.Capacity Scheduler： 3.Fa... ...查看全部

YARN框架概述与集群部署

网友分享 • 数栈君发表了文章 • 0 个评论 • 864 次浏览 • 2023-11-15 10:51 • 来自相关话题

文章目录 1 Apache Hadoop YARN框架概述 1.1 YARN产生和发展简史 1.2 Hadoop演进阶段 1.3 YARN简介 ... ...查看全部

更多...