博客 Kafka 消息消费是采用Pull 模式,还是Push 模式

Kafka 消息消费是采用Pull 模式,还是Push 模式

   沸羊羊   发表于 2024-01-29 14:12  637  0

 Kafka 的消息消费采用 Pull 模式。

在 Kafka 中,消费者负责从 Broker 拉取消息,而不是由 Broker 主动推送消息给消费者。这是因为 Pull 模式具有更好的扩展性和灵活性,可以根据消费者的处理能力和吞吐量来自主控制消息的获取。

具体来说,消费者可以通过调用 poll() 方法来主动从 Kafka 集群中拉取消息。消费者可以定义一个拉取的时间间隔,定期调用 poll() 方法以获取一批消息,并按照需要进行处理。

使用 Pull 模式的好处是:

1. 灵活性:

消费者可以根据自身的处理能力和需求来决定拉取消息的速率。
消费者可以根据现有的消息处理情况,动态调整拉取的频率和批量大小。
2. 削峰填谷:

Pull 模式允许消费者根据自身情况,根据需求来拉取消息,从而实现削峰填谷的效果。
如果消费者处理能力不足,可以降低拉取的频率,防止消息堆积。
3. 消息复读:

Pull 模式使得消费者可以重复拉取同一批消息。
消费者可以通过提交偏移量来记录已经处理完的消息,确保不会错过任何消息。
需要注意的是,尽管 Kafka 的消息消费采用 Pull 模式,但它的消息发布(生产)部分是通过 Push 模式实现的。生产者将消息发送到 Broker 后,Broker 会推送给订阅该 Topic 的消费者。而消费者则需要通过拉取方式来获取消息。这种组合的方式使 Kafka 具有灵活、高效的消息处理能力。
————————————————

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/danci_/article/details/135725653


《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack  
0条评论
上一篇:Kafka 数据有序生
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群