博客 离线开发平台丨袋鼠云产品功能更新报告10期

离线开发平台丨袋鼠云产品功能更新报告10期

   数栈君   发表于 2024-06-06 11:14  1250  0

新增功能更新


1.调度周期为自定义调度日期时,支持在任务中灵活设置天、时、分钟三种调度模式

  新增功能说明  

背景:目前任务选择自定义调度周期时,仅可设置天调度实例的执行时间,无法根据自定义调度日历再去设置小时、分钟调度,没办法灵活地满足客户的使用场景。


新增功能说明:当选择的自定义调度周期为天日历时,可以进行实例批次的选择。选择“单批次”代表计划日期内仅可指定一个计划时间运行实例,选择“多批次”代表计划日期内可以指定多个计划时间运行实例。


例如,上传自定义调度日历,2023-12-21,2023-12-22,2023-12-24等日期为自定义调度日期。选择单批次并指定具体时间为00时00分,则代表2023-12-21 00:00 , 2023-12-22 00:00,2023-12-24 00:00为调度计划时间。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9e05acc7474e8613ccd4cff1da198c46..jpg


选择多批次并填写时间,08:23,15:00,19:47,则代表2023-12-21 08:23 , 2023-12-21 15:00,2023-12-21 19:47,2023-12-22 08:23,2023-12-22 15:00,2023-12-22 19:47,2023-12-23 08:23, 2023-12-23 15:00,2023-12-23 19:47,为调度计划时间。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1e94d36730038f89e3ff016bdc8bd5eb..jpg

(新增功能示意图)


2.项目级 Kerberos 生效范围变更

  新增功能说明  

背景:当前的权限管控方法主要是将每个项目作为一个单元进行权限控制,通过项目级 Kerberos 认证去和底层的 Linux 账号做关联。这样项目层面在表查询数据预览是有缺陷的,项目级 Kerberos 认证无法管控到表查询数据预览的内容。


新增功能说明:数据同步、数据预览、SQL 任务运行提交、本地数据上传,以上场景涉及到的 Hadoop meta 数据源,若在项目中和集群中都上传了 Kerberos 票据信息,将会使用项目级 Kerberos 票据信息进行校验。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f238afd61d1da66d78541b5d246ce7f1..jpg

(新增功能示意图)


3.支持任务回收站

  新增功能说明  

背景:当前任务被删除后,用户无法恢复,为提升容错机制,产品新增了回收站功能。用户可在回收站中查看已删除的周期任务、手动任务和临时查询,并选择恢复。


新增功能说明:新增【回收站】模块,在删除任务时可以选择「彻底删除」或「移至回收站」。「彻底删除」的任务将直接删除且不在回收站展示,「移至回收站」的任务可以在【回收站】中进行查看。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/cac1ec6e99ec45a5cc35c77e4411ac60..jpg


支持对回收站中的任务进行「还原」和「清空」操作。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5c79fe9127ecf5fb872920ff84ed35e2..jpg

(新增功能示意图)


4.上游任务存在下游依赖时禁止下线

  新增功能说明  

背景:上游任务存在依赖时,不应该被允许下线,会影响下游任务运行。此前需要让用户自己手动取消依赖关系后,再进行下线操作。


新增功能说明:在下线时进行提示,隐藏下线入口。新增「复制」按钮,便于用户粘贴到文本框后依次取消依赖。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/09e698a46028a94c3d33fd88e0861977..jpg

(新增功能示意图)


5.元数据库 DMDB 8 适配 MySQL,WEB 中间件东风通 tongweb 替换 tomcat

  新增功能说明  

信创全流程适配,适应国产替代化浪潮。


6.SQL 基础功能补全

  新增功能说明  

临时运行、系统函数、自定义函数、执行计划等功能各计算引擎补全(除了极少数不常用引擎)。


7.支持物化视图

  新增功能说明  

背景:物化视图是将表连接或者聚合等耗时较多的结果进行预计算并将计算结果保存下来,在对复杂 SQL 进行查询的时候,直接基于上一步预计算的结果进行计算,从而避免耗时的操作,更快的得到结果。


新增功能说明:在 Spark3.2.2 版本创建的 Spark SQL 任务支持物化视图相关语法。


8.数据同步

  新增功能说明  

• 支持 Iceberg0.13 数据同步


• StarRocks 3.x 版本适配,支持作为计算引擎,支持数据同步读写


功能优化


1.创建项目时,项目支持不对接并且不创建 Schema

  体验优化说明  

背景:此前离线创建项目必须对接或者创建一个 schema。但在很多应用场景中,用户的 SQL 开发任务都是在同一个 Schema 下,他们不想在自己的库里去创建很多无意义的 Schema。


体验优化说明:在创建项目时,支持选择「不创建或对接 Schema」。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f219e54325e00db05738f4db2471243e..jpg


创建项目成功后,在编辑任务时,需要指定 Schema。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/616858d831c01ff25353b144fda7d9f3..jpg

(体验优化示意图)


2.快捷键优化

  体验优化说明  

快捷键选择栏支持中文。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ef8ee5393c45241829c128ec001dadd9..jpg

(体验优化示意图)


3.Hive 脱敏改造,复杂查询生效

  体验优化说明  

原脱敏功能存在问题,复杂查询不生效。现优化调整后,复杂查询的结果也会生效脱敏规则。


4.Flink 任务类型改名为 Flink Batch 任务类型

  体验优化说明  

Flink 任务通常是指实时 Flink 任务,实际上该任务是进行离线批处理,更名后信息更加准确。


5.ES 数据同步优化

  体验优化说明  

背景:存在多个 Index 同时向目标表进行写入的场景。


体验优化说明:读取 ES 数据源时,支持批量多选 Index,降低了用户的操作成本。支持地理位置字段类型,地理标识字段是 ES 常用的一个字段,在字段映射时支持数据转换。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e58c67101022b563408ef83fe6d7a579..jpg

(体验优化示意图)



《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001/?src=bbs

《数栈V6.0产品白皮书》下载地址:https://www.dtstack.com/resources/1004/?src=bbs

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群