博客 实时开发篇丨袋鼠云产品更新报告09期

实时开发篇丨袋鼠云产品更新报告09期

   数栈君   发表于 2024-02-23 10:10  129  0

实时开发平台


新增功能更新


1.视图血缘解析

  新增功能说明  

背景:
目前 SQLParser 不支持 FlinkSQL 的视图血缘解析,但在一般开发场景下,任务如果涉及三张以上表,很多数开会选择 IDE 里建视图,方便阅读 SQL 逻辑。

功能:

1、SQLParser 支持 FlinkSQL 视图表展示血缘解析


2、任务运维-实时任务-FlinkSQL 任务详情-血缘解析展示功能

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a6bd3b2cd5cca2f088b5892db54057f9..jpg

(新增功能示意图)


2.FlinkSQL 支持 Oceanbase Sink

  新增功能说明  

FlinkSQL1.16版本对 OceanBase 结果表的支持,同时兼容 OceanBase 4.2.0 版本的 MySQL 和 Oracle 两种模式,为用户提供了更加灵活和高效的数据处理能力。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/bd4c143efbfce908e0f21391870989b9..jpg

(新增功能示意图)


3.源表 Kafka 读取类型支持 AR Json

  新增功能说明  

背景:在国外,OGG 和 Attunity Replicate 是两个广泛使用的商业产品,为了更好地满足客户需求,我们需要确保 Kafka 的 JSON 格式兼容 AR Json 的读取类型。


新增功能说明:FlinkSQL1.16 版本源表 Kafka 读取类型支持 AR Json 类型并且支持自动映射相关功能解析 Json。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4b59fce3b44d78f45a6e6663b5e2fd4b..jpg

(新增功能示意图)


4.实时湖仓 Paimon 支持

  新增功能说明  

背景:借助 Paimon 的开发,本次需要迭代一种新的 FlinkSQL 开发模式,使用该模式,可以全链路串起湖仓管理模块。


新增功能说明:

1、湖仓管理新增 Paimon 表增删改查能力

2、数据开发平台端增加 Paimon 表的可视化配置功能

3、数据开发平台端通过 IDE 方式完成 Paimon 表的读写功能

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a7b4a421da4d4f699d636e812e89af4f..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/90c8b42ae39a38be49d0f15c50b98db3..jpg

(新增功能示意图)


5.FlinkSQL 内置 FlinkCDC

  新增功能说明  

背景:FlinkCDC 是一款开源的实时采集组件,其迭代速度非常快,底层依赖的 Flink 框架也与我们使用的 ChunJun 框架相同。因此,我们考虑将其作为实时平台部署的默认组件,并将其打包进我们的系统中。


新增功能说明:

1、实时默认部署包,带上 FlinkCDC 实时采集组建


2、平台脚本模式,需要验证下 FlinkCDC 自带的采集能力和已经支持的 Connector


3、平台向导模式,会根据项目情况,将 FlinkCDC 支持的 Connector 采集配置化掉

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ce801e2295911ceb25ee90d8da631aed..jpg

(新增功能示意图)


6.FlinkSQL 支持 FlinkCDC DB2 数据源

  新增功能说明  

背景:客户需要支持 DB2 的实时采集,考虑到 CDC Connector 开发难度又较大,FinkCDC 刚好支持,所以底层借用 FlinkCDC 的能力。


新增功能说明:实时平台端支持向导模式配置源表为 DB2-CDC 数据源。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4929e2fe82a58fb45c9455bba8a6b4ae..jpg

(新增功能示意图)


功能优化


1.续跑逻辑优化

  体验优化说明  

背景:实时任务通过 CheckPoint 恢复并续跑时,需要手动选择一个时间点,但实际上大部分续跑场景都是选择最近一个 CheckPoint。


体验优化说明:优化选择通过 CheckPoint 恢复并续跑时,自动选择日期内最近的 CheckPoint。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/35e2da3b8740bbf0e1a0248ef1238197..jpg

(体验优化示意图)


2.启停策略/Offsite 优化

  体验优化说明  

背景:在客户的深入使用过程中,我们发现启停策略、提交和重跑等方面可以进行优化,以实现更高效的工作流程和更好的用户体验。


目前我们的数据开发源表中的 Offsite 时间戳配置都是固定的。然而,有些客户在实时任务计算场景中,只关注当天的数据计算,因此他们会配置一个启停策略,以便每天重新运行任务。他们希望能够从每天的零点开始重新运行任务,而不是使用固定的时间戳。虽然理论上 Latest 也能满足这一需求,但由于实时任务启动时间的消耗可能会导致实际运行时间偏离零点,从而产生数据误差。


体验优化说明:

1、对启停策略配置进行优化,现在支持跨天的启停策略,并且对当前的启停策略页面交互进行了改进,以提供更高效、更便捷的操作体验


2、数据开发-源表,支持参数化配置 Offsite 位点

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2f913dbb12519ff97975c33df26d5cf4..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/831c74a293e21da3797dc916e429eb9f..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e5ccf24ec6d52898e61ea2ab6d98d5c2..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/56e0671f7873c08edc336a60c6fae612..jpg

(体验优化示意图)


3.FlinkSQL1.16 版本 ES7.x 插件优化

  体验优化说明  

背景:
FlinkSQL1.10 版本的 ES 插件支持配置维表超时时间和超时数据次数限制,这一功能在当前的 FlinkSQL 1.16 版本中暂时无法实现,正积极进行优化。


体验优化说明:

FlinkSQL1.16 版本 ES7.x 插件维表配置 table.exec.async-lookup.timeout 或使用 hints 语法设置超时时间,任务运行中维表 LRU 模式,异步查询超时生效。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8210e21bded13313c26ae6051995f6a6..jpg

(体验优化示意图)


4.告警配置优化

  体验优化说明  

背景:在任务告警规则中,告警接收配置需要手动选择,无法实现根据任务责任人自动匹配发送告警信息,同时在全局告警配置中,也无法根据任务责任人自动进行对应发送。


体验优化说明:

1、单任务告警规则配置接收人调整默认勾选任务责任人、其他接收人通过选择框进行选择,支持多选


2、全局告警规则配置勾选任务责任人时实际发送给每个任务的责任人,当选择其他接收人时,选择的任务异常时会发送给选择的接收人

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/037e09022ac00f20709bb5d20cd98ec1..jpg

(体验优化示意图)


5.FlinkSQL1.12&1.16 版本 Tidb 插件平台兼容

  体验优化说明  

背景:
FlinkSQL 的1.12和1.16版本已经完成了与 Tidb 的适配,然而平台层仅在1.10版本时进行了适配,因此1.12和1.16版本不支持使用。


体验优化说明:

实时平台端兼容 Tidb 插件1.12&1.16版本,需要同时支持维表、结果表。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/6e72786d399c132420239d6e00757d3b..jpg

(体验优化示意图)


6.FlinkSQL1.12&1.16 版本 Hive huaweiCloud 适配

  体验优化说明  


背景:实时备份 Kafka 数据打入 MRS Hive,当实时计算数据有问题时,可以对 Hive 里的备份消息做分析。


体验优化说明:

FlinkSQL1.12&1.16 版本 Hive huaweiCloud 适配,数据源中心、引擎、平台同步开发支持 Hive huaweiCloud 结果表,需要关注开启 Kerberos 场景。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5aaa3f78ffacaacb40f775e088021194..jpg

(体验优化示意图)




《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack 
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群