博客 离线开发篇丨袋鼠云产品更新报告09期

离线开发篇丨袋鼠云产品更新报告09期

   数栈君   发表于 2024-02-23 09:57  516  0

离线开发平台


新增功能更新


1.任务模版

  新增功能说明  

背景:客户希望将日常通用的代码模板在离线中进行维护,在进行数据开发时可以直接引用。


模板与组件的差异:

1、模板代码引用后支持编辑,组件引用后不支持编辑  

2、模板变更后不影响引用的任务,组件变更后会影响引用的任务


新增功能说明:支持各任务类型的项目代码模版、租户代码模版,在创建任务时支持引用代码模版。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/68fc0ad89da8fa095eb6ff71389d33ff..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d9f56b907ab60be835e2c5edd4076065..jpg

(新增功能示意图)


2.shell on agent/python on agent 新增项目维度管控

  新增功能说明  

背景:

Shell on agent 是离线平台特殊的一种任务类型。


Shell 任务运行并不直接在集群部署的机器上,而是将 Shell 运行在独立部署的服务器节点上。因为离线一个任务需要占用两个核,如果客户场景存在较多  Shell 任务,很容易将集群资源打满。因此将 Shell、Python 等任务运行在独立部署的节点上,可以有效降低集群的压力。


目前存在一个问题,只要客户在 EM 和控制台上配置的节点和服务器用户,集群下所有项目都可以使用配置的节点和服务器用户,这样存在安全性的问题。例如 root 等高权限的用户,客户比较看重安全性问题,不希望所有项目都能去使用这个账号,因此需要设计一个能够管控配置服务器节点和服务器用户的方案,来解决这个问题。


新增功能说明:

1、控制台通过项目授权进行节点和服务器用户权限管控

2、离线项目中任务支持选到被授权对服务器节点和用户

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3936b89de97879f62a066cbaafe2d7fd..jpg

(新增功能示意图)


功能优化


1.调度配置优化,可以调控依赖上游任务的任一周期实例

  体验优化说明  


背景:

目前调度中天任务默认只能依赖当前周期的上游实例,客户可能存在以下场景:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/00d37a1e38ed93768accbc5d5e14a37a..jpg

例如客户存在两个业务系统「经纪关系数据」和「交易数据」,客户6月3日的提成需要分别依赖于「经纪关系数据」和「交易数据」计算得出。如上图所示,6月2日的「经纪关系数据」业务系统数据产出时间是6月3日;6月2日的「交易数据」业务系统数据产出时间是6月2日晚。


按照目前离线的上下游依赖逻辑,「计算客户经理提成」任务只能取到6月3日的任务,无法获取到6月2日的任务,因此需要进行改造,支持任务实例依赖设置可以选择自定义周期。


体验优化说明:

支持自定义依赖上游任务的调度周期。


T代表当前任务(下游任务)的计划时间,“+ -”代表偏移方向,“+”代表时间向未来偏移,“-”代表时间向过去偏移,默认选择“-”。


偏移量为数字输入框,最大值10,最小值1,代表偏移上游任务周期数。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f4ba256cc54e2dfc4dadb8b50a1e81ca..jpg

(体验优化示意图)





《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack 
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群