博客 Kafka 消息消费为什么不用Push模式

Kafka 消息消费为什么不用Push模式

   沸羊羊   发表于 2024-01-29 14:13  354  0

Kafka 消息消费采用 Pull 模式的主要原因包括以下几点:

消费者的处理能力不确定:
消费者的处理能力是不确定的,可能会因为各种原因出现处理速度上的差异。使用 Pull 模式可以让消费者根据自身处理能力和负载来主动获取消息,从而避免消息被推送而无法即时处理的情况。而且 Pull 模式允许消费者根据自身情况动态调整拉取消息的速率,以更好地应对实际处理需求。

削峰填谷需求:
在实际应用中,消费者对消息的处理速度可能会出现波动,可能出现突发的高负载情况。采用 Pull 模式可以使消费者根据需要主动控制消息的拉取速率,从而更好地应对系统的负载变化,实现削峰填谷的效果。

精细的偏移量控制:
使用 Pull 模式可以允许消费者精细地控制偏移量的提交和消息的处理情况。消费者可以决定何时提交偏移量,确保消息被处理后再进行提交,从而避免数据的丢失或重复处理。

消息重放的能力:
Pull 模式使得消费者可以重复拉取同一批消息,以便进行消息的重放或者重新处理。这对于容错和数据处理的健壮性非常重要。

Kafka 消息消费采用 Pull 模式主要是为了确保消费者可以根据自身的处理能力和需求来灵活地获取消息,并且能够更好地应对系统负载变化、实现精细的偏移量控制,以及提供消息重放的能力,从而增强消息系统的稳定性和可靠性。
————————————————

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/danci_/article/details/135725653


《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack  
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群