博客 袋鼠云产品功能更新报告08期|实时开发篇

袋鼠云产品功能更新报告08期|实时开发篇

   数栈君   发表于 2023-12-01 16:43  676  0

1.TBDS 账号

  新增功能说明  

有 TBDS 账号的用户,往集群提交任务时以个人账号提交,其余统一以默认账号提交。


2.全局/任务告警新增“启停策略执行失败”触发方式

  新增功能说明  

背景:目前平台无法感知到启停策略是否执行成功,比如运行中的任务是否按照启停策略正常停止了,停止的任务是否按照启停策略重新启动了。


新增功能说明:配置规则后可以在告警内容中看到具体失败的原因。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8040288d33883ba6c2d507499f3bdd4b..png
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4d9356cc2a227f6589436176724b7e6f..png

(新增功能示意图)


3.支持用户自定义角色

  新增功能说明  

背景:目前用户在平台内使用的角色和对应权限点是内置固定的,当不同用户对角色应有的权限点或者角色种类与平台提供的想法不一致时,无法根据自身需求进行修改。


新增功能说明:支持在「角色管理」中新增自定义角色并编辑相应角色权限点,并优化了项目内操作成员的权限。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/fe354b1199397d44ee8b377805fb0926..png

(新增功能示意图)


4.Flink1.16 任务支持 on k8s 运行

  新增功能说明  

支持在控制台-集群配置中配置采集类型为 NFS 的 k8s,配置步骤在「整体说明-调度支持」中查看。


5.新增 Hudi 作为 FlinkSQL 的源表/结果表

  新增功能说明  

支持引入 HMS 数据源,并且可以在 FlinkSQL 向导模式的源表/结果表选择 Hudi 表。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/47461eb5138dca5d676f52a05bece710..png

(新增功能示意图)


6.新增 HBase/ElasticSearch HuaweiCloud 作为 FlinkSQL 的维表/结果表

  新增功能说明  

支持在结果表/维表中选择使用适配 fusioninsight/MRS 集群的 HBase/ES HuaweiCloud 数据源。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b14c663c2eafbceb8a109e1093878c9d..png
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4899f51ccbda7cfb3296e4dd90a342f6..png

(新增功能示意图)


7.实时任务的 sql query、调试和售前 demo 任务通过的 session 模式提交

  新增功能说明  

背景:目前实时平台的任务提交默认均走
perjob 模式,但是对于实时 sql query、调试、demo 任务的场景,需要更快速的产出数据,并不需要持续长时间的运行,perjob
模式的优势就利用不上了。并且 perjob 模式的劣势在于提交流程较长,也不符合此类场景。


新增功能说明:session 配置新增以下三个配置项来支持实时的任务场景:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b5f79754ee90f13b0b734d80e4b83a27..png

(新增功能示意图)


8.源表新增 Upsert Kafka 插件

  新增功能说明  

新增 Upsert Kafka 插件做为 FlinkSQL 的源表和结果表。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3098952ebced3ecb782967149ae4d629..png

(新增功能示意图)


9.新增【实时湖仓】模块

  新增功能说明  

新增【实时湖仓】模块,支持对湖表的管理和计算。


功能优化


1.增强 IDE 中 FlinkSQL 语法解析的准确性

  体验优化说明  

背景:之前的语法解析,对于很多 SQL 正确的写法依然会高亮报错。


体验优化说明:提高对 SQL 语法解析的准确性。


2.Starrocks 结果表,向导模式支持更新模式

  体验优化说明  

背景:Starrocks 插件支持 upsert 定义主键,但平台向导模式不支持,需要在向导模式对更新模式进行调整适配。


体验优化说明:向导模式适配 Starrocks 数据源并适配 upsert 自定义主键。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d3b9070310c0209645c0e91a74f89ef8..png

(体验优化示意图)


3.新增 oushu 目标表

  体验优化说明  

结果表支持 oushuDB 数据源。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/aa5096b4a0c32069d213bc23a9c0fae9..png

(体验优化示意图)


4.日志打印中的业务数据问题

  体验优化说明  

背景:目前实时任务的运行日志中会打印业务数据,存在数据安全风险,需要屏蔽掉。


体验优化说明:运行日志、task manager 日志、历史日志里是否存在打印业务数据,如果存在,对打印的业务数据做隐藏。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/cfca15e0955d8bbb33445122fd55c664..png

(体验优化示意图)


5.新增【任务下线】功能、新增【任务停止时间】列

  体验优化说明  

优化部分任务运维的交互体验,新增【任务下线】功能,在任务列表新增【任务停止时间】列。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f7db59b9a8743283ad0e39e3206fd02b..png

(体验优化示意图)


6.向导模式的各种数据源统一开放自定义参数配置

  体验优化说明  

背景:目前结果表中部分数据源的「添加自定义参数」和「更新策略」配置项是缺失的。


体验优化说明:


结果表—Sql server维表—mysql、oracle、sql
server、Postgresql、kingbaseES8、greatdb、doris0.14.x(http)、doris0.14.x(jdbc)starrocks、impala、clinkhouse、inceptor、ES6.x、ES7.x、TBDS_HBASE、argodb、vastbase
对以上数据源添加开放自定义参数配置。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d9cae6b0550484075d1685506ae4ffd8..png


• 结果表—涉及数据源:Sql server、Postgresql、kingbaseES8,对以上数据源新增更新策略。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8584c60121f96393193ca73dac0a8d9e..png

(体验优化示意图)


7.【任务运维】健康分模型优化

  体验优化说明  

对于任务运维做功能上优化,新增任务扣分项说明、常见问题排查指导,用户可通过健康分查看具体扣分项进行完善,方便于用户进行问题排查。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/da8200d4d42969e295964893faf72ca4..png


(体验优化示意图)


8.【实时开发】任务导入导出功能优化

  体验优化说明  

背景:实时任务的导入导出功能,在做任务资源组信息替换时,用了数据库的序号,而没用名称,导致跨环境导入时会报错。(因为跨环境的这些信息,在数据库的id大概率是不一样的)


体验优化说明:任务导入导出时,需要做信息替换的如资源组、数据源等信息,均使用名称进行替换。这样只需要保障两个环境维护的名称一致,就可以实现跨环境的政策导入导出。





《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群