新增功能更新
1.调度周期为自定义调度日期时,支持在任务中灵活设置天、时、分钟三种调度模式
新增功能说明
背景:目前任务选择自定义调度周期时,仅可设置天调度实例的执行时间,无法根据自定义调度日历再去设置小时、分钟调度,没办法灵活地满足客户的使用场景。
新增功能说明:当选择的自定义调度周期为天日历时,可以进行实例批次的选择。选择“单批次”代表计划日期内仅可指定一个计划时间运行实例,选择“多批次”代表计划日期内可以指定多个计划时间运行实例。
例如,上传自定义调度日历,2023-12-21,2023-12-22,2023-12-24等日期为自定义调度日期。选择单批次并指定具体时间为00时00分,则代表2023-12-21 00:00 , 2023-12-22 00:00,2023-12-24 00:00为调度计划时间。
选择多批次并填写时间,08:23,15:00,19:47,则代表2023-12-21 08:23 , 2023-12-21 15:00,2023-12-21 19:47,2023-12-22 08:23,2023-12-22 15:00,2023-12-22 19:47,2023-12-23 08:23, 2023-12-23 15:00,2023-12-23 19:47,为调度计划时间。
(新增功能示意图)
2.项目级 Kerberos 生效范围变更
新增功能说明
3.支持任务回收站
新增功能说明
4.上游任务存在下游依赖时禁止下线
新增功能说明
5.元数据库 DMDB 8 适配 MySQL,WEB 中间件东风通 tongweb 替换 tomcat
新增功能说明
信创全流程适配,适应国产替代化浪潮。
6.SQL 基础功能补全
新增功能说明
临时运行、系统函数、自定义函数、执行计划等功能各计算引擎补全(除了极少数不常用引擎)。
7.支持物化视图
新增功能说明
背景:物化视图是将表连接或者聚合等耗时较多的结果进行预计算并将计算结果保存下来,在对复杂 SQL 进行查询的时候,直接基于上一步预计算的结果进行计算,从而避免耗时的操作,更快的得到结果。
新增功能说明:在 Spark3.2.2 版本创建的 Spark SQL 任务支持物化视图相关语法。
8.数据同步
新增功能说明
• 支持 Iceberg0.13 数据同步
• StarRocks 3.x 版本适配,支持作为计算引擎,支持数据同步读写
功能优化
1.创建项目时,项目支持不对接并且不创建 Schema
体验优化说明
2.快捷键优化
体验优化说明
3.Hive 脱敏改造,复杂查询生效
体验优化说明
原脱敏功能存在问题,复杂查询不生效。现优化调整后,复杂查询的结果也会生效脱敏规则。
4.Flink 任务类型改名为 Flink Batch 任务类型
体验优化说明
Flink 任务通常是指实时 Flink 任务,实际上该任务是进行离线批处理,更名后信息更加准确。
5.ES 数据同步优化
体验优化说明
《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs
《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001/?src=bbs
《数栈V6.0产品白皮书》下载地址:https://www.dtstack.com/resources/1004/?src=bbs
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack