博客 袋鼠云产品功能更新报告08期|离线开发篇

袋鼠云产品功能更新报告08期|离线开发篇

   数栈君   发表于 2023-12-01 14:22  198  0

欢迎来到袋鼠云08期产品功能更新报告!在瞬息万变的市场环境中,我们深知客户的需求与期待,因此,我们及时推出袋鼠云最新产品更新及优化,包括数据治理中心、Hive SQL 性能优化、新插件等,助力企业在数字世界中勇往直前。


以下为袋鼠云产品功能更新报告08期内容,更多探索,请继续阅读。


离线开发平台


新增功能更新


1.支持对接 Inceptor 表权限的申请和审批

  新增功能说明  

背景:客户使用的是平台的 web 层权限管控方案,期望 Inceptor 表也能支持 web 层权限管控。


新增功能说明:

如图所示,当表权限通过后,用户则在离线中拥有审批通过后的 Inceptor 表权限。权限主要分为以下三点:

• DQL:主要是 select 语句,只读权限

• DML:主要是 insert update 语句,只写权限

• DDL:主要是 alter 语句,变更表记录

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3cd4600c0cedc4a5541fc0adaf4492ea..png

(新增功能示意图)


2.批量操作支持按基线进行任务的筛选

  新增功能说明  

背景:客户希望在基线功能的基础上进行扩展,除了实现破线告警功能外,还希望能够支持批量设置资源租。这样,当某条基线出现错误时,可以更快地进行恢复。


新增功能说明:在批量操作处,增加基线筛选项。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b2e9202d80f597af2cef752e527972e5..png

(新增功能示意图)


3.任务优先级

  新增功能说明  

背景:任务如果不出现异常(出错或延迟),集群资源一般是能够支持任务的正常运行,极少出现正常运行时的任务的大面积阻塞的情况。但如果任务依赖树比较复杂,上游几个重要任务出现异常且修复耗时长,会导致恢复后下游任务扎堆跑,那么就可能出现任务挤兑的情况,所以任务优先级的设置就显得尤为重要。


新增功能说明:支持在基线管理中对任务设置1-5个级别的优先级,数值越大,任务运行的优先级越高。优先级越高的任务,在调度资源紧张的情况下,将优先获得调度资源。


为基线设置优先级后,基线上所有任务及其有效上游任务自动赋予该优先级,配置优先级后将会在T+1生成的周期实例中生

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/291cbb3c8c9fdaec86ff0b81e0e0cb3e..png



(新增功能示意图)


4.任务发布对接审批中心

  新增功能说明  

背景:部分客户对任务发布至生产项目的安全性要求较高,希望能够审批后再完成发布。


新增功能说明:开启发布审批流程后,在离线执行发布动作后,审批人需要先在审批中心进行审批后,发布流程才可继续进行。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/525e2ace40b1029ddfcdb0018df4c784..png



http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/70696eb262b761aa7f352d46cee5d7f4..png

(新增功能示意图)


5.项目支持绑定数据库账号

  新增功能说明  

背景:部分客户遇到这样的场景,不同的项目由不同的团队负责,对应的数据权限也不同,因此希望能够在项目维度进行数据库账号的绑定。


新增功能说明:RDB 类的数据库账号支持在项目中进行设置。在控制台还可设置集群、个人层面的数据库账号,这三者间的优先关系是个人>项目>集群。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/fee4e13f93f9320522132c5533285f80..png

(新增功能示意图)


功能优化


1.Hive SQL 性能优化

  体验优化说明  

背景:在客户侧运行 Hive SQL 时,反馈 Hive SQL 任务执行较慢。


体验优化说明:性能优化后,简单查询的速率有显著提升,具体用例和时间对比如下:


• SELECT * FROM putong0629.dl_user WHERE id > 0;(表有18个字段,10w条数据)

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/df63047db2450e6cb4e40338e8c1de4a..png


• SELECT * FROM putong0629.dl_user WHERE id is not null LIMIT 1;(表有18个字段,10w条数据)

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b9ca14d7c65211ccaf314cf1971625a8..png

(体验优化示意图)


2.SQL 编辑器格式化优化,且支持回撤

  体验优化说明  

• ctrl+Z/command+Z 进行格式化内容回撤


• 格式化后格式参考竞品和其他开源代码编辑器格式化方式进行了优化调整

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/133bb528579bb072914813b436750bc1..png

(体验优化示意图)


3.日志实时打印优化

  体验优化说明  

背景:间隔2.5s轮询任务日志,任务结束后未再继续轮询日志,会导致丢失日志中的关键信息。


体验优化说明:日志实时打印优化,任务失败后会再轮询打印一次日志。


4.离线开发 IDE 界面右侧菜单抽屉支持左右动态拉伸

  体验优化说明  

背景:以前的交互逻辑如图所示,右侧抽屉是固定的,当填写参数等字段信息较多的参数时,非常不方便需要来回拉动查看信息。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7afe764a08ba0418abcdeb5f87441d0c..png


体验优化说明:可以自由拉伸右侧抽屉的宽度,调整至舒服的宽度再进行填写。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7dbb981e12690f9ddd642a3386fc90f1..png

(体验优化示意图)


5.SQL 查询结果空值优化

  体验优化说明  

背景:目前离线展示的查询结果有问题,不管是空还是字符串都显示为空,用户无法进行区分。


体验优化说明:查询结果对 「对象为字符串为“null” 」「对象为字符串为“” 」「对象为空」三种情况做了区分。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8efe617da8772dfa46f363f0841068c2..png

(体验优化示意图)


6.任务下线时提示当前下游依赖的任务

  体验优化说明  

背景:任务被下线时,会影响到当前任务的所有下游任务,用户通常没有很好的方式能够去判断具体影响了哪些下游任务。


体验优化说明:对任务进行下线操作时,会出现弹窗显示当前影响的任务范围。


7.GitLab 代码同步功能优化

  体验优化说明  

• 适配 GitLab 版本15.7.8

• 项目拉取改为异步操作,防止拉取超时

• 任务推送从“保存后再推送"修改为“推送完成后再保存”

• 支持按照任务目录拉取

• 按文件类型选择时,修改为选填

• 批量操作希望支持批量推送和拉取

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5f397136842979dc4b8ea40e2d468a78..png

(体验优化示意图)


8.SQL 查询结果优化

  体验优化说明  

• 离线元数据同步支持视图同步:离线数据源页面的元数据同步功能,支持元数据同步同步视图

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/384e9037548f49dfc006de77e810d5e6..png


• 支持数据源本地数据导入

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ecca05dc7837a126c0c9703bad44b32e..png


• 查询返回行数

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/c24f9c358a0b0e53854e7a01b5171229..png


• 查询结果支持排序

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e52ad3075d9f1dea744686d07b9cc607..png


• 查询结果表名标识字段类型标记

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/373891fef3a0b2795255ecb1a5e06382..png


(体验优化示意图)


9.调度周期为月时,支持选择最后一天

  体验优化说明  

调度周期为“月”时,时间支持选择“每月最后一天”。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/df5caa0418742a8b98bf7609434073b3..png

(体验优化示意图)


10.Inceptor 读取支持范围分区

  体验优化说明  

背景:在数据同步中,离线 Inceptor 读取不支持范围分区(Range Partitioning),仅支持了单值分区(Single-Value Partitioning)。


体验优化说明:在离线数据同步选择 Inceptor 数据源读取时,支持选择范围分区。



《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群