问答 Taier上,我需要启动一个script任务。 这个任务中有些数据文件会用到。 我怎么保证这个数据文件,在执行的时候会被应用到?

Taier上,我需要启动一个script任务。 这个任务中有些数据文件会用到。 我怎么保证这个数据文件,在执行的时候会被应用到?

   匿名用户    发布于 2023-02-06 11:25 最新回复 2023-02-06 11:33  来自于   srgyk  408  4

是在资源管理中上传数据文件,然后在script运营的时候, 资源文件可以理解为会分发到script运行时到runer container么?

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/question/a11340a4b417cce38c6a5fcac5b9e6f1..png

4条回答
srgyk
回复于 2023-02-06 11:33

我试过在script里面which hdfs, 并没有找到, 而且运行失败了, 是不是意味着script的运行环境是没有hdfs命令的?

0 0
srgyk
回复于 2023-02-06 11:33

在script里面去下在hdfs, 能下载么? 有hdfs程序可用么?

我试过在script里面which hdfs, 并没有找到, 而且运行失败了, 是不是意味着script的运行环境是没有hdfs命令的?

0 0
srgyk
回复于 2023-02-06 11:32

script是在yarn上运行的? 然后yarn的运行环境下的程序和数据怎么控制? 我不太能理解, 那这个script能干嘛? 打印 echo "hello world"么?

0 0
群内解答
回复于 2023-02-06 11:32

这个版本暂时还不支持 你可以提交个feature描述下场景
当前版本想引用的话 可以在脚本里面手动去下载hdfs文件执行


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:

https://github.com/DTStack/Taier

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群