博客 袋鼠云产品功能更新报告06期(数据资产篇)|数栈产品功能升级,做产品我们是认真的!

袋鼠云产品功能更新报告06期(数据资产篇)|数栈产品功能升级,做产品我们是认真的!

   数栈君   发表于 2023-07-13 10:30  556  0

数据资产平台


新增功能更新


1.监控数据变更

  新增功能说明  

背景:客户希望某些场景发生数据变更的时候,支持对比前后不同时间的数据,比如需要对比昨天和今天不同分区的数据,此场景可以通过对接控制台自定义参数来满足。


新增功能说明:数据质量支持对接控制台自定义参数,涉及到质量的单表、多表的自定义 SQL、过滤条件的地方都需要修改,支持点击直接复制参数。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/108b7450330a79f433b2ae2f157c5de8..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/94c00c547dd965ec0467ddad9e8eb928..jpg

(新增功能示意图)


2.数据标准/词根导出

  新增功能说明  

• 数据标准导出:支持数据标准按照目录批量导出,满足无平台权限部门线下对齐数据标准下发规范的需求

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/3250d0fc8f8ee9181f06d80697f53a06..jpg


• 词根导出:支持词根按照目录批量导出,满足无平台权限部门线下对齐词根的规范需求

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/e6b336fa7870e77e440c39ef0b630182..jpg

(新增功能示意图)


3.Trino 跨源校验支持 TDSQL、Inceptor

  新增功能说明  

背景:项目上需要实现 TDSQL 表和 Inceptor 表的跨源校验


新增功能说明:数据源中心 connector 配置新增 TDSQL、Inceptor,Trino 支持 TDSQL、Inceptor 的单表、多表、规则集校验


• Trino 的 Inceptor:已支持 Inceptor 的质量校验,通过 Trino 引擎连接 Inceptor 时,单表、多表、规则集校验功能与 Inceptor 本身保持一致


• Trino 的 TDSQLTDSQL与 MySQL 类似,通过 Trino 引擎连接 TDSQL 时,单表、多表、规则集校验功能与 MySQL 类似


4.自定义角色

  新增功能说明  

背景:满足客户侧自由设定不同角色的权限点,不同客户可能会有不同的需求,目前的角色固定权限点的方式不够灵活,自由新增角色且配置权限点,可以满足不同客户的角色及对应权限点的个性化需求。


新增功能说明:

• 资产平台可查看相关角色及权限点配置:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/5702b938490fd09db5d5b9da281c78f6..jpg


• 设置-角色管理可进行角色配置和权限点指定:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/24fdc095eca41afe86d13e0cfac8ee03..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/9fcd8e2d9ac8b675d004ce68e6246897..jpg

(新增功能示意图)


5.代码规则检查

  新增功能说明  

背景:数据开发人员代码水平不一,导致代码书写混乱,SQL 代码运行问题较多,利用 SQL 检查规则规范化 SQL 代码,对代码书写问题进行拦截,便于统一管理,用于预防引入需要治理的问题。


新增功能说明:

• 规则管理:支持内置规则,同时也支持注册规则,满足不同客户的个性化代码检查规范


• 内置规则:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/d60a7ea1b65e1b3393be06fbd87fc54d..jpg


• 注册规则:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/e4814c2347206db8f8c1fd6a794d4126..jpg


• 注册规则文件:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/f07948013767c7fe24f4a33e8b9d9c82..jpg


• 生效环节:检查规则支持对文件提交、运行的前置事件进行检查

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/b4aa10ffc30ec21af0e24d75f96cc49c..jpg


• 生效结果:检查开启后,设定为阻塞的检查规则,检查不通过将阻塞对应事件的流程;设定为提示的检查规则,检查不通过时离线侧可忽略提示,仍然正常提交。检查规则触发后发现的事件称之为检查规则事件。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/206582805e17b9daddf521329643a30b..jpg

(新增功能示意图)


功能优化


1.实时字段血缘优化

  体验优化说明  

• 字段血缘新增上下钻,相当于根据表级血缘的关系,将多个任务的字段级血缘串联起来


• 默认只展示当前任务结果表的选中字段的一级上下游(之前只有上游,因为只解析当前任务,没有串联)


• 如果上下游字段还有自身的上下游血缘,icon 显示,点击继续上下钻一级


2.部分前端页面UI升级

  体验优化说明  

• 资产盘点

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/5e73c4ed8e63929494df366339ad0185..jpg


• 数据地图

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/6ecc858926b07019750aa58295f6af17..jpg


• 元数据同步

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/7398445317606e263869505b9bc0f6d5..jpg


• 元数据质量-完整度分析

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/786e561680425dad26d4ab8e3fb6fb13..jpg

(体验优化示意图)


3.质量规则优化

  体验优化说明  

• 创建任务回滚机制:

当质量任务绑定离线任务时,绑定失败,质量任务仍然会创建成功,需要做到两个之中任意一个失败了,质量规则创建失败


• 脏数据存储变更,质量任务重新提交:

切换完独立数据校验要重新保存一下任务,不然去获取脏数据时查的是独立库,但是 SQL 跑的是之前的库,在切换脏数据独立存储后,把相关任务重新提交,包括新增/编辑

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群