1、要想从Kafka中读取数据,就要先对消费者信息进行配置
2、消费者基本配置信息完成以后,创建消费者、订阅主题、为了后面的消费
3、订阅主题,就相当于已经订阅了kafka中的消息,下一步就是消费。而kafka消费消息的方式是poll拉取,我们这里对kafka中的数据进行消费,上面我们选择了自动提交offset,那么每次offset就是在上一次消费完成以后的最新位置,所以我们接下来的每次消费得到的都是最新未消费的数据!
方法一:
1、创建MyConsumer1类,根据上面整体结构的剖析,添加如下代码,并进行测试。
方法二:
2、创建MyConsumer2类,根据上面整体结构的剖析,添加如下代码,并进行测试。
方式一、方式二只是写法上的不同,整体架构都是一样的,任选其一来写即可。
至此,从kafka中读取最新数据的流程就全部结束了。
1、导入依赖
【我这里SpringBoot版本是2.2.13】
注意:1、springboot +2、kafka-clients +3、spring-kafka(在下图中体现为Sprig for Apache Kafka Version) 这三个 要注意版本对应
。具体对应情况如下图所示:
在application.yml
文件中添加如下内容:
3、创建MyConsumer类,添加如下内容:
4、测试运行主启动类
,会自动进行监听且在程序运行的过程中将数据输出。
————————————————
版权声明:本文为CSDN博主「努力搬砖的猪头」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/junR_980218/article/details/126343195
免责申明:
本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!
《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack