问答 请问下 这个flink on yarn 提交任务本地会连接source数据源做一些操作这个能去掉么?有些情况下我们跨region 数据库是不通的

请问下 这个flink on yarn 提交任务本地会连接source数据源做一些操作这个能去掉么?有些情况下我们跨region 数据库是不通的

   匿名用户    发布于 2023-06-30 18:21 最新回复 2023-06-30 18:22  来自于   群内解答  222  3
3条回答
群内解答
回复于 2023-06-30 18:22

  这个你可以提个优化上来,后面我们加个开关去处理这个。元数据获取这块检查的逻辑之前是希望能在client 的地方快速检查配置信息,包括表,列 之类是不是准确的。  

0 0
群内解答
回复于 2023-06-30 18:22

   json里面都定义好了 我感觉没必要再去获取了。现在我都是欺骗性操作。本地要建一个数据库 ddl都建好,域名映射到这个数据库~~  

0 0
群内解答
回复于 2023-06-30 18:22

  当前逻辑里在本地提交部分会连接source 获取元数据信息,现在不能去掉。


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs


同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

https://github.com/DTStack/chunjun  

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群