kafka

Kafka 物理存储机制

知识百科 • 数栈君发表了文章 • 0 个评论 • 49 次浏览 • 2024-11-04 13:56 • 来自相关话题

一、分区分配创建主题时，Kafka首先决定如何在broker之间分配分区。假设有6个broker，打算创建一个包含10个分区的主题。并且复制系数是3，相当于30个分区副本。在被分配到6个broker上时，要达到如下的目标：【1】在broker间平均分配分区副本... ...查看全部

kafka如何保证消息不丢失

知识百科 • 数栈君发表了文章 • 0 个评论 • 62 次浏览 • 2024-11-01 11:46 • 来自相关话题

Kafka发送消息是异步发送的，所以我们不知道消息是否发送成功，所以会可能造成消息丢失。而且Kafka架构是由生产者-服务器端-消费者三种组成部分构成的。要保证消息不丢失，那么主要有三种解决方法。生产者(producer)端处理生产者默认发送消息代码如下：i... ...查看全部

大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输

知识百科 • 数栈君发表了文章 • 0 个评论 • 128 次浏览 • 2024-10-16 11:54 • 来自相关话题

一、Kafka 在大数据生态中的角色1.1 Kafka 与大数据生态Kafka 在大数据生态系统中犹如一座坚实的桥梁，连接着数据源与数据处理模块。它能够高效地处理大量的实时数据，使得数据能够在不同的组件之间快速流动。与 Alluxio 在缓存数据方面的作用类似... ...查看全部

大数据大厂之 Kylin 多维分析引擎实战：构建数据立方体

技术共享 • 数栈君发表了文章 • 0 个评论 • 654 次浏览 • 2024-09-26 15:43 • 来自相关话题

随着大数据技术的不断发展，高效的数据分析工具变得至关重要。而 Kylin 正是在这样的背景下脱颖而出，为我们带来了全新的数据处理和分析体验。一、Kylin 的核心概念1.1 什么是 KylinApache Kylin 是一个开源的分布式分析引擎，主要用于大数据... ...查看全部

Kafka延迟队列的实现方式

网友分享 • 数栈君发表了文章 • 0 个评论 • 737 次浏览 • 2024-07-31 15:17 • 来自相关话题

在现代的分布式系统中，延迟队列是一种常见的解决方案，用于处理具有延迟要求的任务或消息。Apache Kafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。本文将介绍如何使用Kafka实现延迟队列，并提供详细的Java示例。什么是延迟队列？... ...查看全部

kafka如何保证消息不丢失

网友分享 • 数栈君发表了文章 • 0 个评论 • 157 次浏览 • 2024-07-24 14:21 • 来自相关话题

kafkastream的集成和入门

网友分享 • 数栈君发表了文章 • 0 个评论 • 172 次浏览 • 2024-07-24 14:17 • 来自相关话题

kafkastream的介绍：Kafka Streams是一个开源的流处理库，用于构建实时数据流应用程序和微服务。它是Apache Kafka项目的一部分，是一种基于事件驱动的流处理解决方案。Kafka Streams提供了高级别的API，使开发人员能够以简单... ...查看全部

Logstash输入Kafka输出Es配置

技术共享 • 数栈君发表了文章 • 0 个评论 • 679 次浏览 • 2024-05-06 11:00 • 来自相关话题

Logstash介绍Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Log... ...查看全部

Hadoop与Kafka在消息队列处理中的结合运用

知识百科 • 数栈君发表了文章 • 0 个评论 • 239 次浏览 • 2024-03-08 09:39 • 来自相关话题

Hadoop和Kafka在消息队列处理中的结合运用，主要是利用了两者的优势互补，以实现大数据处理流程中不同阶段的需求。Kafka的角色：实时流处理：Kafka作为高吞吐量、低延迟的分布式消息队列，能够实时接收和处理海量数据流。它被设计用来处理网站活动跟踪、日志... ...查看全部

Hive与Kafka集成：实时数据摄取与处理架构设计

知识百科 • 数栈君发表了文章 • 0 个评论 • 887 次浏览 • 2024-02-28 10:24 • 来自相关话题

在大数据领域，Apache Hive作为一款基于Hadoop的数据仓库工具，以其强大而易于使用的SQL接口备受青睐，而Apache Kafka则是消息队列领域的翘楚，以其高性能、高吞吐量和分布式特性在实时数据流处理中发挥着关键作用。当Hive与Kafka巧妙结... ...查看全部

flinksql 事件时间怎么定义， kafka 的json中 ts字段是毫秒时间戳

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 572 次浏览 • 2023-02-14 14:46 • 来自相关话题

咨询一个问题，flinksql脚本模式 kafka berberos认证，这样配置有问题吗

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 819 次浏览 • 2022-12-08 14:29 • 来自相关话题

Kafka 物理存储机制

知识百科 • 数栈君发表了文章 • 0 个评论 • 49 次浏览 • 2024-11-04 13:56 • 来自相关话题

kafka如何保证消息不丢失

知识百科 • 数栈君发表了文章 • 0 个评论 • 62 次浏览 • 2024-11-01 11:46 • 来自相关话题

大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输

知识百科 • 数栈君发表了文章 • 0 个评论 • 128 次浏览 • 2024-10-16 11:54 • 来自相关话题

大数据大厂之 Kylin 多维分析引擎实战：构建数据立方体

技术共享 • 数栈君发表了文章 • 0 个评论 • 654 次浏览 • 2024-09-26 15:43 • 来自相关话题

Kafka延迟队列的实现方式

网友分享 • 数栈君发表了文章 • 0 个评论 • 737 次浏览 • 2024-07-31 15:17 • 来自相关话题

kafka如何保证消息不丢失

网友分享 • 数栈君发表了文章 • 0 个评论 • 157 次浏览 • 2024-07-24 14:21 • 来自相关话题

kafkastream的集成和入门

网友分享 • 数栈君发表了文章 • 0 个评论 • 172 次浏览 • 2024-07-24 14:17 • 来自相关话题

Logstash输入Kafka输出Es配置

技术共享 • 数栈君发表了文章 • 0 个评论 • 679 次浏览 • 2024-05-06 11:00 • 来自相关话题

Hadoop与Kafka在消息队列处理中的结合运用

知识百科 • 数栈君发表了文章 • 0 个评论 • 239 次浏览 • 2024-03-08 09:39 • 来自相关话题

Hive与Kafka集成：实时数据摄取与处理架构设计

知识百科 • 数栈君发表了文章 • 0 个评论 • 887 次浏览 • 2024-02-28 10:24 • 来自相关话题

更多...

Kafka 物理存储机制

kafka如何保证消息不丢失

大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输

大数据大厂之 Kylin 多维分析引擎实战：构建数据立方体

Kafka延迟队列的实现方式

kafka如何保证消息不丢失

kafkastream的集成和入门

Logstash输入Kafka输出Es配置

Hadoop与Kafka在消息队列处理中的结合运用

Hive与Kafka集成：实时数据摄取与处理架构设计

flinksql 事件时间怎么定义， kafka 的json中 ts字段是毫秒时间戳

咨询一个问题，flinksql脚本模式 kafka berberos认证，这样配置有问题吗

Kafka 物理存储机制

kafka如何保证消息不丢失

大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输

大数据大厂之 Kylin 多维分析引擎实战：构建数据立方体

Kafka延迟队列的实现方式

kafka如何保证消息不丢失

kafkastream的集成和入门

Logstash输入Kafka输出Es配置

Hadoop与Kafka在消息队列处理中的结合运用

Hive与Kafka集成：实时数据摄取与处理架构设计

话题描述

相关话题

1 人关注该话题