背景：此前只支持 streaming 模式。

新增功能说明：针对 FlinkSQL 任务（1.16），任务设置中支持 Query 执行设置，可选择执行方式为流模式或者批模式。

「Stream 模式」

• 定义：任务以流模式查数据

• 查询时长：将任务开始在 Flink 引擎上执行，作为计算起点，当查询时间达到此处设置上限时自动停止查询

• 结果最大显示条数：当查询到的数据条数满足设置值时，数据总量不再增加，新的数据覆盖最早的数据

「Batch 模式」

• 定义：任务以批模式查数据，数据查完后暂存，一次性返回至平台展示，支持结果下载，下载功能同 stream 模式

• 查询时长：查询时间达到此处设置上限时自动停止查询，若在此时间内数据返回结束则打印结果，否则结果为空

• 结果最大显示条数：查询/下载结果上限为此处设置的条数

（新增功能示意图）

支持基于 Attunity json 的读取类型采集/输入样例数据，自动映射 Flink 表。使用 json 平铺解析的方式可以通过添加自动映射功能来实现，从而满足需求。

（新增功能示意图）

实时采集1.12&1.16版本支持 Greenplum 目标表写入能力，为用户提供了更加灵活和高效的数据处理能力。

（新增功能示意图）

FlinkSQL1.16 版本支持 OceanBase 维表读取能力，

为用户提供了更加灵活和高效的数据处理能力。

（新增功能示意图）

背景：用户对实时湖仓表管理中表的范围提出需求，此前实时湖仓不支持展示在其他平台或底层创建的表，并需要对表的增删改查操作设置权限限制。

新增功能说明：

• 优化实时湖仓获取 HMScatalog 元数据的方式

• 通过配置项参数，控制 IED 编辑 SQL 和湖仓管理-表展示的范围、控制表操作的范围，当前配置项仅针对 HSMCatalog

• 优化表管理 Catalog 展示性能问题

背景：当前不支持在创建 HMSCatalog 时配置 Warehouse 地址，只能使用默认的地址，且不做展示。

新增功能说明：增加必填 Warehouse 项，回填 hive-site 文件内 Warehouse 地址，湖仓创建 catalog 时可以指定存储路径而不是按默认的路径进行存储。

（新增功能示意图）

• 实时湖仓 Hive 适配 CDH6.2.1 对应的 Hive 2.1 版本

•实时湖仓 FLinkSQL1.12 支持运行 DTCatalog 和 IcebergCatalog

• 实时计算平台支持 Hbase2.x 数据源作为 FLinkSQL 维表且版本支持1.16

（新增功能示意图）

背景：此前的搜索不区分具体的查询类型，导致查询效率低下。

新增功能说明：数据开发页面新增支持高级检索方式，如支持代码检索等功能，同时增加支持根据代码内容搜索相对应的任务，提高搜索的实用性。

（新增功能示意图）

FlinkSQL&实时采集向导模式增加脚本预览功能，前端支持功能包含：搜索、复制、read-only、下载。

（新增功能示意图）

背景：数据开发在编写 FlinkSQL 时，从当前的拓扑图编写中无法得到具体的一些字段信息。

新增功能说明：

• 实时计算数据开发众的 FlinkSQL，支持源表、维表、结果表字段在 SQL 编辑器 IED 编辑时的字段自动补全功能，提高开发 SQL 的效率

• 支持向导模式和脚本模式

（新增功能示意图）

• 支持 FlinkSQL1.16 版本作为源表、结果表

• 支持实时采集1.16版本作为来源表、目标表

• 支持开启 kerberos 认证方式

• 支持实时湖仓 DTCatalog 作为源表、结果表

• 支持调试运行

（新增功能示意图）

背景：在修改环境参数中的任务并行度参数后，为保证尽快生效，平台会自动停止任务后重启，这让实时任务有了一个停止时间，重启耗时会比较久。

体验优化说明：在修改任务并行度参数后，不需要停止任务，提交后可直接生效，需要引擎出方案修改。支持热更新的参数如下：

• FlinkSQL 插件参数：维表 all 改为 lru、查询超时时间

• Flink参数：并行度、checkPoint 参数

（体验优化示意图）

背景：Flink Dashboard 展示了一些平台没有展示的运行及日志等信息，对有经验的数据开发来说更方便排查问题。

体验优化说明：实时计算所有“运行中”状态（实际非 application 运行中，需要 job 运行中才能跳转成功）的任务的运维页面在下图位置显示 FlinkUI 跳转入口。

（体验优化示意图）

背景：目前同一用户在两个窗口同时编辑任务时，A窗口先保存，B窗口再次保存时，覆盖逻辑默认A覆盖B，会导致后保存版本内容丢失。

体验优化说明：任务锁覆盖逻辑优化

• 版本记录增加保存版本，平台异常登出时自动保存任务

• 多人编辑同个任务/同一用户在多个窗口编辑同个任务并出现保存冲突时，可让用户选择保存版本

（体验优化示意图）

针对 FlinkSQL 和实时采集任务，表级血缘图中的源表、维表与结果表的节点，点击时显示数据源信息，对交互与任务的详细浮窗不一致问题进行优化。

（体验优化示意图）

背景：需要通过资源创建的任务类型，在创建时应有校验资源类型是否选择正确的功能，而不是在选择资源时直接根据当前任务类型进行可选资源范围过滤，导致错误提示滞后，增加用户误操作成本。

体验优化说明：选择资源时直接根据任务类型限制可选范围，其余不可选的资源类型在下拉时置灰无法选中

• Flink 可选范围为 jar

• PyFlink 可选范围为 py 文件

背景：

• 某个任务由于业务变更需要修改逻辑或在较长的一段时间内不需要执行时，在任务运维列表中还持续存在会造成信息干扰，需要进行下线操作，和提交形成逆向的操作闭环

• 任务下线后可能隔断时间会重新提交，也可能很长一段时间内不会再次提交，目前所有任务的 cp sp 信息都保留会导致无用文件的堆积，任务删除时任务相关的信息更需要完整删除

• on k8s 的任务在 jobgraph 创建之前被取消或异常失败不会被清理，只有在正常结束或者 jobgraph 调度之后再被取消才会正常清理；on yarn 的任务，如果任务 cancel 会删除数据，但是如果直接 kill application 则不会删除 zk 数据，同样会导致无用文件的堆积

体验优化说明：

• 实时开发任务下线后可选择清理 check point、save point 信息，任务异常状态时清理 zk 信息

• 任务下线时可选择清理运维记录及日志数据，任务删除时自动删除运维记录及日志数据

项目管理导航栏下新增【健康分管理】子页面，里面分为【健康分指标】（默认展示）和【健康分等级】两个 tab。

（体验优化示意图）

• 将 React Router 从 v3.x 升级到 v6.x

• 对前端易用性性能进行改造，改进首屏性能，通过易测做量化，改进 FPS 场景任务

历史版本的1.10支持维表 AS 别名，后续在1.12及以上使用 Flink 语法则不支持。为防止使用上出现问题，将向导模式下别名隐藏，修改后字段和类型的显示跟结果表保持一致。

（体验优化示意图）

背景：此前版本对热更新未做状态限制，存在正在热更新的任务重复提交热更新的操作。

体验优化说明：

• 通过后端对任务热更新状态的判断，正在热更新的任务无法重复的提交热更新操作，将给出提示：当前任务正在进行热更新操作，请等待热更新结束后再执行操作

• 调度增加任务运行状态，可以通过状态进行判断

（体验优化示意图）

背景：此前的自定义模版，只支持 Flink1.16 版本使用，限制了模版的使用版本，6.0的用户存在低版本未升级到1.16的情况，就无法使用此功能。

体验优化说明：自定义模版创建任务取消引擎版本的限制，同步支持了低版本也能使用此功能。

（体验优化示意图）

背景：任务开发时，点击保存，页面会自动跳回至顶部，打乱开发节奏，无法定位上一次编辑的位置。

体验优化说明：数据开发在使用任务开发页面编辑 SQL 脚本不需要从顶部开始往下滑动，可以直接停留在保存的位置。

（体验优化示意图）