数据资产平台
新增功能更新
1.监控数据变更
新增功能说明
2.数据标准/词根导出
新增功能说明
3.Trino 跨源校验支持 TDSQL、Inceptor
新增功能说明
背景:项目上需要实现 TDSQL 表和 Inceptor 表的跨源校验
新增功能说明:数据源中心 connector 配置新增 TDSQL、Inceptor,Trino 支持 TDSQL、Inceptor 的单表、多表、规则集校验
• Trino 的 Inceptor:已支持 Inceptor 的质量校验,通过 Trino 引擎连接 Inceptor 时,单表、多表、规则集校验功能与 Inceptor 本身保持一致
• Trino 的 TDSQL:TDSQL与 MySQL 类似,通过 Trino 引擎连接 TDSQL 时,单表、多表、规则集校验功能与 MySQL 类似
4.自定义角色
新增功能说明
5.代码规则检查
新增功能说明
背景:数据开发人员代码水平不一,导致代码书写混乱,SQL 代码运行问题较多,利用 SQL 检查规则规范化 SQL 代码,对代码书写问题进行拦截,便于统一管理,用于预防引入需要治理的问题。
新增功能说明:
• 规则管理:支持内置规则,同时也支持注册规则,满足不同客户的个性化代码检查规范
• 内置规则:
• 注册规则:
• 注册规则文件:
• 生效环节:检查规则支持对文件提交、运行的前置事件进行检查
• 生效结果:检查开启后,设定为阻塞的检查规则,检查不通过将阻塞对应事件的流程;设定为提示的检查规则,检查不通过时离线侧可忽略提示,仍然正常提交。检查规则触发后发现的事件称之为检查规则事件。
(新增功能示意图)
功能优化
1.实时字段血缘优化
体验优化说明
• 字段血缘新增上下钻,相当于根据表级血缘的关系,将多个任务的字段级血缘串联起来
• 默认只展示当前任务结果表的选中字段的一级上下游(之前只有上游,因为只解析当前任务,没有串联)
• 如果上下游字段还有自身的上下游血缘,icon 显示,点击继续上下钻一级
2.部分前端页面UI升级
体验优化说明
3.质量规则优化
体验优化说明
• 创建任务回滚机制:
当质量任务绑定离线任务时,绑定失败,质量任务仍然会创建成功,需要做到两个之中任意一个失败了,质量规则创建失败
• 脏数据存储变更,质量任务重新提交:
切换完独立数据校验要重新保存一下任务,不然去获取脏数据时查的是独立库,但是 SQL 跑的是之前的库,在切换脏数据独立存储后,把相关任务重新提交,包括新增/编辑
《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack