问答 通过binlog-source和mysql-source放到kafka-sink的格式不一样,现在遇到binlog-source到kafka-sink之后,无法正常输出数据,请问如何解决

通过binlog-source和mysql-source放到kafka-sink的格式不一样,现在遇到binlog-source到kafka-sink之后,无法正常输出数据,请问如何解决

   匿名用户    发布于 2023-08-31 17:46 最新回复 2023-08-31 17:52  来自于   群内解答  221  5
5条回答
群内解答
回复于 2023-08-31 17:52

  这是正常的吧 一个是读取数据库数据 一个是读日志变化的数据  

0 0
群内解答
回复于 2023-08-31 17:50

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/e83590fe6c751e33cc5751cd31d30c45..png

但是如果是用binlog读到kafka,value的数据格式就不同了,在这种情况下应该如何正确读取这里面的数据呢

0 0
群内解答
回复于 2023-08-31 17:50

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/e27b6f8f9072b1f5097b082ab13326da..png

比如用mysqlreader读到kafka,数据的格式和examples文件夹里的kafka_stream_data.txt是一样的

0 0
群内解答
回复于 2023-08-31 17:49

  用的就是官网文档上binlog-source和mysql-source这两个插件,然后插到kafka不同的topic,看在kafka里面的数据做的比较  

0 0
群内解答
回复于 2023-08-31 17:48

  binlog-source 和mysql-source是什么插件 用的chunjun binlog插件采集到kafka和哪一个插件比较


  • 想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs


    同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

    https://github.com/DTStack/chunjun

  

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群