1.TBDS 账号
新增功能说明
有 TBDS 账号的用户,往集群提交任务时以个人账号提交,其余统一以默认账号提交。
2.全局/任务告警新增“启停策略执行失败”触发方式
新增功能说明
3.支持用户自定义角色
新增功能说明
4.Flink1.16 任务支持 on k8s 运行
新增功能说明
支持在控制台-集群配置中配置采集类型为 NFS 的 k8s,配置步骤在「整体说明-调度支持」中查看。
5.新增 Hudi 作为 FlinkSQL 的源表/结果表
新增功能说明
6.新增 HBase/ElasticSearch HuaweiCloud 作为 FlinkSQL 的维表/结果表
新增功能说明
7.实时任务的 sql query、调试和售前 demo 任务通过的 session 模式提交
新增功能说明
8.源表新增 Upsert Kafka 插件
新增功能说明
9.新增【实时湖仓】模块
新增功能说明
新增【实时湖仓】模块,支持对湖表的管理和计算。
功能优化
1.增强 IDE 中 FlinkSQL 语法解析的准确性
体验优化说明
背景:之前的语法解析,对于很多 SQL 正确的写法依然会高亮报错。
体验优化说明:提高对 SQL 语法解析的准确性。
2.Starrocks 结果表,向导模式支持更新模式
体验优化说明
3.新增 oushu 目标表
体验优化说明
4.日志打印中的业务数据问题
体验优化说明
5.新增【任务下线】功能、新增【任务停止时间】列
体验优化说明
6.向导模式的各种数据源统一开放自定义参数配置
体验优化说明
背景:目前结果表中部分数据源的「添加自定义参数」和「更新策略」配置项是缺失的。
体验优化说明:
•
结果表—Sql server维表—mysql、oracle、sql
server、Postgresql、kingbaseES8、greatdb、doris0.14.x(http)、doris0.14.x(jdbc)starrocks、impala、clinkhouse、inceptor、ES6.x、ES7.x、TBDS_HBASE、argodb、vastbase
对以上数据源添加开放自定义参数配置。
• 结果表—涉及数据源:Sql server、Postgresql、kingbaseES8,对以上数据源新增更新策略。
(体验优化示意图)
7.【任务运维】健康分模型优化
体验优化说明
8.【实时开发】任务导入导出功能优化
体验优化说明
背景:实时任务的导入导出功能,在做任务资源组信息替换时,用了数据库的序号,而没用名称,导致跨环境导入时会报错。(因为跨环境的这些信息,在数据库的id大概率是不一样的)
体验优化说明:任务导入导出时,需要做信息替换的如资源组、数据源等信息,均使用名称进行替换。这样只需要保障两个环境维护的名称一致,就可以实现跨环境的政策导入导出。
《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack