博客 袋鼠云产品功能更新报告06期(离线开发篇下)|数栈产品功能升级,做产品我们是认真的!

袋鼠云产品功能更新报告06期(离线开发篇下)|数栈产品功能升级,做产品我们是认真的!

   数栈君   发表于 2023-07-13 10:26  370  0

功能优化


1.运行任务优化

  体验优化说明  

背景:在「数据开发」菜单中临时运行任务后,切换到其他菜单,运行的任务将会停止。


体验优化说明:运行任务时切换菜单,不会停止正在执行的任务。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/b768a1320068895ee214f8317c74ac3e..jpg

(体验优化示意图)


2.表生命周期逻辑优化

  体验优化说明  

背景:如果客户有大量短生命周期的表,生命周期到期后表元数据信息不删除,导致元数据中心有大量的临时表,不仅元数据查询性能受影响,数据同步的表等需要查询表信息的地方会有大量不必要的内容存在。


体验优化说明:

• 分区表:当前日期 - 当前分区的数据最后更新时间 > 生命周期,则删除该分区,表的所有分区删除后表的元数据信息删除

• 非分区表:当前日期 - 表的数据最后更新时间 > 生命周期,则清空表中数据,表的元数据信息删除


3.工作流优化

  体验优化说明  

• 工作流样式优化


• 工作流子节点新增运行方式:运行当前节点、从当前节点开始运行和运行至当前节点


• 工作流支持圈选,圈选后新增运行方式:运行至选中节点、从选中节点开始运行

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/a645a62fa0425691b5a6c17c227a5a46..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/eb3814463d41042d7c1fc723b206d80c..jpg

(体验优化示意图)


4.GP表查询优化

  体验优化说明  

• 可查看的表的范围为资产中已经元数据同步过的所有 Schema 的所有表


• 元数据实时刷新

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/b8d6885bb5cc05d751351e9d4d39301b..jpg

(体验优化示意图)


5.ddl 操作管控支持的 SQL 类型完善

  体验优化说明  

完善后支持所有任务类型 SQL 语句的 ddl 操作管控。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/b43606f2716bfbd23383b94705e55e2e..jpg

(体验优化示意图)


6.发布功能优化

  体验优化说明  

背景:当前发布流程有很多校验内容,包括任务上游、函数、资源、资源组映射、数据源映射等,发布的时候可能会有内容缺漏,非常容易造成发布失败,平台需要把缺漏的内容流程化一次性提示给用户,且需要能够支持一些内容的修改替换,以优化发布体验。


体验优化说明:发布时,会在发布包中校验引擎、数据源、资源组、任务、上游依赖、资源、函数、组件、表及责任人,并展示校验结果。针对发布失败的校验项,会给出优化提示。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/46164c43bf904c955b2ebe4336f8b298..jpg

(体验优化示意图)


7.报错提示优化

  体验优化说明  

项目新建失败是由数据源导致时,会明确提示信息:数据源名称、数据源类型、错误原因。


8.适配高可用配置 Hive 集群地址

  体验优化说明  

若控制台配置 Hiveserver 和 Inceptor 采用的是 zk 连接模式,离线端支持获取数据源信息。


9.新建工作流任务类型带上“工作流”选项

  体验优化说明  

此前新建工作流任务类型时,默认展示还是“数据同步”任务,现优化默认选中“工作流”选择。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/9ba05e74340f75264ee3d2f40c1c9fb7..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/63ee4430a6874b3967b33a51996e7f99..jpg

(体验优化示意图)


10.所有代码任务支持版本回滚

  体验优化说明  

Impala SQL、Oracle SQL、Greenplum SQL、AnalyticDB PostgreSQL、MySQL、SQL Server、TiDB SQL、GaussDB SQL、Trino SQL、HANA SQL、HashData SQL、StarRocks SQL 任务支持版本对比和版本回滚(目前所有代码任务均支持了版本对比和版本回滚)。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/f5d097cd8064da13b3102e4e720e6519..jpg

(体验优化示意图)


11.任务默认运行方式调整

  体验优化说明  

默认分段运行:GaussDB SQL、Oracle SQL、TiDB SQL、Trino SQL、MySQL、SQL Server、Hana SQL、ADB SQL、HashData SQL、StarRocks SQL、Inceptor SQL、Impala SQL


默认整段运行:Hive SQL、Spark SQL、Greenplum SQL

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/6889c40af0d9ee4461cd50eb9d753422..jpg

(体验优化示意图)


12.数据同步任务中仅可选择项目对接的 Schema

  体验优化说明  

数据同步时选择当前项目的 meta 数据源,只能选择当前项目的 meta schema。


数据同步时选择引入其他项目的 meta 数据源,只能选择引入数据源的 meta schema。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/fcb61d4520186d857325eed28789051d..jpg

(体验优化示意图)


13.ES 作为目标数据源时,支持指定主键字段构成

  体验优化说明  

背景:在 ES 作为数据同步目标端的任务中,默认将所有字段都作为主键字段,会导致主键值过长,使任务失败,因此需要离线侧进行优化,不要默认将所有字段都作为主键字段。


体验优化说明:在字段映射时,支持指定主键包含的字段。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/d3cfe370e0507187fb9fb31e4f1102e3..jpg

(体验优化示意图)


14.运维中心优化

  体验优化说明  

• 告警配置中勾选任务责任人,只有自己作为责任人的任务报错时,才会给任务责任人发送告警信息


• 任务补数据支持配置告警规则

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/d2a5a92274913f8f9c17eb885c20b0af..jpg

(体验优化示意图)

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群