问答 请教各位大牛一个问题,咱们的taier怎么实现任务之间数据传递啊。譬如:SparkSQL任务分析出来的结果数据,怎么同步到MySQL任务的数据库中?

请教各位大牛一个问题,咱们的taier怎么实现任务之间数据传递啊。譬如:SparkSQL任务分析出来的结果数据,怎么同步到MySQL任务的数据库中?

   匿名用户    发布于 2023-05-19 15:27 最新回复 2023-05-19 15:28  来自于   群内解答  206  2
2条回答
群内解答
回复于 2023-05-19 15:28

可以按照任务依赖的关系处理
先在上游的spark sql 任务处理好数据到结果表
在通过下游的数据同步将结果表数据 同步到mysql表里


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs


同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

https://github.com/DTStack/Taier

0 0
群内解答
回复于 2023-05-19 15:27

我的理解是,先使用sparksql 将分析后的数据写入到spark临时表中,然后通过数据同步任务从spark sql 临时表中抽取到MySQL数据库中?不知道这样理解对不对?

0 0
下一篇:
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群