一、引言1、Kafka简介Apache Kafka 是一个分布式流处理平台，最初由 LinkedIn 开发，并于 2011 年开源，现在由 Apache Software Foundation 进行维护。Kafka 旨在提供一个统一、高吞吐量、低延迟的平台，用...
数栈君 发表于2025-01-17 10:25
441
0
Flink 作业执行流程 (Application 模式)客户端通过 ClusterDescriptor 提交 Application 模式 Sql 任务到服务端，服务端调用作业时 StreamTableEnvironment 使用 FlinkSqlParse...
数栈君 发表于2025-01-16 10:56
293
0
一、消息的顺序有这样一个需求：当订单状态变化的时候，把订单状态变化的消息发送给所有关心订单变化的系统。订单会有创建成功、待付款、已支付、已发货的状态，状态之间是单向流动的。好，现在我们把订单状态变化消息要发送给所有关心订单状态的系统上去，实现方式就是用消息队列...
数栈君 发表于2025-01-16 10:48
229
0
在数字经济迅猛发展的当下，企业数据量正以令人惊叹的速度持续增长。据IDC研究显示，至2025年，全球数据总量预计将超175 ZB。数据的爆发式增长对企业而言，既是机遇，更是巨大挑战。如今，大数据已然成为企业决策的关键依据，在金融、零售、医疗、互联网等行业更是如...
数栈君 发表于2025-01-15 17:43
241
0
为了帮助企业更有效地推进数字化转型升级，袋鼠云精心策划了一系列以“数字基建+数智应用”为核心的赋能分享活动，本系列直播共有四期，每期聚焦于不同的关键议题，深入探讨企业数字化转型中面临的挑战以及可行的应对策略。我们期待通过这些直播活动，与业界同仁深化交流，共同探...
数栈君 发表于2025-01-14 23:19
198
0
一、参考阿里云的官方链接：使用Python SDK接入Kafka收发消息_云消息队列 Kafka 版(Kafka)-阿里云帮助中心二、安装python环境 三、添加python依赖库pip install confluent-kafka==1.9.2四、新建...
数栈君 发表于2025-01-14 16:40
168
0
Flink中的批和流批处理的特点是有界、持久、大量，非常适合需要访问全部记录才能完成的计算工作，一般用于离线统计。流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统 传输的每个数据项执行操作，一般用于实时统计。一个无界流可以分解为多个有界流...
数栈君 发表于2025-01-14 15:28
181
0
一.持久化我们在前⾯讲了消费端处理消息时,消息如何不丢失,但是如何保证当RabbitMQ服务停掉以后,⽣产者发送的消息不丢失呢.默认情况下, RabbitMQ 退出或者由于某种原因崩溃时,会忽视队列和消息,除⾮告知他不要这么做.它确保消息在消息队列崩溃、重启或...
数栈君 发表于2025-01-14 15:09
207
0
一、Kafka1、什么是消息队列假设我们有两个服务：生产者A每秒能生产200个消息，消费者B每秒能消费100个消息。那么B服务是处理不了A这么多消息的，那么怎么使B不被压垮的同时还能处理A的消息呢，我们引入一个中间件，即Kafka。（当然着并不能使消费者的处理...
数栈君 发表于2025-01-14 14:32
175
0
消息队列（如RabbitMQ、Kafka）的使用与原理。消息队列是一种分布式系统中的设计模式，它允许系统中的不同组件通过异步的方式交换信息。以下是RabbitMQ和Kafka这两种消息队列的使用与原理的详细介绍：一、消息队列的基本概念消息队列的核心概念是将发送...
数栈君 发表于2025-01-14 14:16
284
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
