问答 Taier1.4分支+hadoop3.2.2+chunjun1.12.8+flink1.12.7部署,数据同步任务报错,请教各位大佬,这个是什么原因引起吗

Taier1.4分支+hadoop3.2.2+chunjun1.12.8+flink1.12.7部署,数据同步任务报错,请教各位大佬,这个是什么原因引起吗

   匿名用户    发布于 2023-09-28 16:39 最新回复 2023-09-28 16:42  来自于   群内解答  166  8

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/question/24d0caa4938d7ff8d009f56a32b50df2..jpg

8条回答
群内解答
回复于 2023-09-28 16:42

flink s3的只有flink家目录下有这些包~flink组件的flinkLibDir我设置的是flink家目录路径,找的应该是这些吧~

另外表的数据存储在腾讯云的cos上~

0 0
群内解答
回复于 2023-09-28 16:42

看下是不是s3的相关包版本导致的呢

0 0
群内解答
回复于 2023-09-28 16:41

后台没有报错……http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/a7cdcf71d39dd23e16cae3db613358e9..jpg

我用的是flink on yarn的

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/cb9956f4dd814e546b019e45f5864edf..jpg

flink-1.12用的都是默认配置~

0 0
群内解答
回复于 2023-09-28 16:41

看一下taier后台,一般有报错,你看是不是flink集群nodemanage没有配置

0 0
群内解答
回复于 2023-09-28 16:40

这个是数据同步任务控制台报错http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/bc5fdcbe272ef86f926e0d9e46b967c5..jpg

0 0
群内解答
回复于 2023-09-28 16:40

你看一下taier上的报错

0 0
群内解答
回复于 2023-09-28 16:40

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user68/answer/47c93175c8c18e6b2a681df19fc06c24..jpg

yarn上报这个错误~集群用的是腾讯云的emr~

0 0
群内解答
回复于 2023-09-28 16:40

这个看不太出来

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群