实时开发平台
新增功能更新
1.视图血缘解析
新增功能说明
背景:
目前 SQLParser 不支持 FlinkSQL 的视图血缘解析,但在一般开发场景下,任务如果涉及三张以上表,很多数开会选择 IDE 里建视图,方便阅读 SQL 逻辑。
功能:
1、SQLParser 支持 FlinkSQL 视图表展示血缘解析
2、任务运维-实时任务-FlinkSQL 任务详情-血缘解析展示功能
(新增功能示意图)
2.FlinkSQL 支持 Oceanbase Sink
新增功能说明
FlinkSQL1.16版本对 OceanBase 结果表的支持,同时兼容 OceanBase 4.2.0 版本的 MySQL 和 Oracle 两种模式,为用户提供了更加灵活和高效的数据处理能力。
(新增功能示意图)
3.源表 Kafka 读取类型支持 AR Json
新增功能说明
4.实时湖仓 Paimon 支持
新增功能说明
5.FlinkSQL 内置 FlinkCDC
新增功能说明
6.FlinkSQL 支持 FlinkCDC DB2 数据源
新增功能说明
功能优化
1.续跑逻辑优化
体验优化说明
2.启停策略/Offsite 优化
体验优化说明
背景:在客户的深入使用过程中,我们发现启停策略、提交和重跑等方面可以进行优化,以实现更高效的工作流程和更好的用户体验。
目前我们的数据开发源表中的 Offsite 时间戳配置都是固定的。然而,有些客户在实时任务计算场景中,只关注当天的数据计算,因此他们会配置一个启停策略,以便每天重新运行任务。他们希望能够从每天的零点开始重新运行任务,而不是使用固定的时间戳。虽然理论上 Latest 也能满足这一需求,但由于实时任务启动时间的消耗可能会导致实际运行时间偏离零点,从而产生数据误差。
体验优化说明:
1、对启停策略配置进行优化,现在支持跨天的启停策略,并且对当前的启停策略页面交互进行了改进,以提供更高效、更便捷的操作体验
2、数据开发-源表,支持参数化配置 Offsite 位点
(体验优化示意图)
3.FlinkSQL1.16 版本 ES7.x 插件优化
体验优化说明
背景:
FlinkSQL1.10 版本的 ES 插件支持配置维表超时时间和超时数据次数限制,这一功能在当前的 FlinkSQL 1.16 版本中暂时无法实现,正积极进行优化。
体验优化说明:
FlinkSQL1.16 版本 ES7.x 插件维表配置 table.exec.async-lookup.timeout 或使用 hints 语法设置超时时间,任务运行中维表 LRU 模式,异步查询超时生效。
(体验优化示意图)
4.告警配置优化
体验优化说明
5.FlinkSQL1.12&1.16 版本 Tidb 插件平台兼容
体验优化说明
6.FlinkSQL1.12&1.16 版本 Hive huaweiCloud 适配
体验优化说明