背景：之前实时平台的运维都是针对单任务的，缺乏全局性的运维统计和分析能力，并且缺乏对运行中任务的监控分析。因为实时任务一旦运行失败，就会立即对线上数据服务产生影响，我们希望能在任务失败之前，就能发现各种潜在风险。

新增功能说明：新增【运维总览】菜单，支持统计项目任务总数、状态分布、类型分布，通过健康分模型，对每个运行中的任务进行健康评分。

（新增功能示意图）

背景：之前的实时任务告警规则，需要在每个任务的运维页面单独配置，相当于以任务维度进行管理。但是在实际开发中，比如任务失败这种场景，一般需要对每个任务都进行配置，但是这样在每个任务上单独操作又非常繁琐。

新增功能说明：新增【全局告警】功能，以规则维度进行管理，每个规则可同时应用到多个任务上。

（新增功能示意图）

背景：实时任务在运行过程中，往往会出现任务状态运行正常，但是实际日志已经开始出现各种报错信息的情况，比如 Exception、Error、Fail 等，这类关键词的出现意味着任务的不稳定。我们需要在任务真正失败之前及时感知到运行日志中出现了这类关键词，然后提前去解决。

新增功能说明：全局告警新增【日志关键词】规则，平台自动创建相应的实时监控任务，前提是需要在任务开发时，开启该任务的日志打印功能。

（新增功能示意图）

背景：之前的告警规则没有区分等级，用户同时收到较多告警时，不确定需要先处理哪个问题，并且告警问题修复后，也没有通知消息，运维成本相对较高。

新增功能说明：新增告警级别（紧急/重要/次要/提示）；告警规则新增是否开启恢复通知配置项。

（新增功能示意图）

• FlinkSQL 源表、结果表新增支持 Ckafka、CMQ 数据源类型

• Flink1.10 支持的 HBase2.x 和 Phoenix5.x 插件，适配 Flink1.12

• FlinkSQL 维表、结果表新增 Hyperbase 数据源

• Flink1.10 支持的实时采集 PGWal 插件，适配 Flink1.12

• Kafka 读取类型新增 Raw Format

背景：之前实时平台的字段级血缘解析只支持根据当前任务的 FlinkSQL 去解析，没有进行上下游串联，用户无法回溯或者下钻上下游关联字段。

体验优化说明：字段级血缘支持上下钻查询。（建议配合表级血缘一起分析，因为字段级血缘是纯 SQL 解析，不携带任务信息）

（体验优化示意图）

背景：原先数据还原任务的 SINK 端表名生成，会自动拼接 Stream 等前缀。容易出现不符合内部数开的表名命名规则，拼接后导致表名太长无法正常创建等问题。

体验优化说明：SINK 端自动创建的表名，支持两种模式：默认和源表相同、支持在源表名的基础上拼接自定义内容。

（体验优化示意图）

背景：之前实时平台的 FlinkSQL 任务开发，对于 Kafka Topic 的映射操作非常麻烦，需要用户查询 JSON 中的每个 KEY，配置成 Flink 表的字段，如果需要做上百个字段的映射，也需要人肉操作。开发往往选择在应用外想办法完成批量映射，再粘贴到平台内，交互比较差。

体验优化说明：Kafka Format 新增 OGG-JSON/ CHUNJUN-JSON，支持对这类 JSON 数据实现一键映射：

• 一键采集线上样例数据，自动完成映射

• 手动输入样例数据，一键完成映射

（体验优化示意图）

背景：之前实时任务的 Checkpoint 恢复语义是放在环境参数中配置的（和开源 Flink 相同），但实际并不生效。因为 Flink 的实现是基于开源改造过的，状态恢复语义需要在任务的结果表中进行 semantic 参数配置。

体验优化说明：调整环境参数中的状态恢复语义提示文案，引导开发至结果表参数中配置。FlinkSQL 任务默认为 at-least-once（保障实时性）、数据还原任务默认为 exactly-once（保障准确性）。

（体验优化示意图）