博客 袋鼠云产品功能更新报告08期|数据资产篇

袋鼠云产品功能更新报告08期|数据资产篇

   数栈君   发表于 2023-12-05 11:02  584  0

新增功能更新


1.Trino 支持元数据同步

  新增功能说明  

离线、指标、标签等其他产品模块创建项目生成的 Trino meta 数据源资产支持自动引入,且 Trino meta 数据源支持质量项目授权。


2.支持通过 Trino 实现 TDSQL 和 Inceptor 表的跨源比对

  新增功能说明  

背景:Inceptor 表的比对中之前没有考虑 hyperbase、hyperbase drive、search 的支持。


新增功能说明:数据质量可通过 Trino 实现 TDSQL 和 Inceptor(hyperbase、hyperbase drive、search) 表的跨源比对。


3.分区表支持在表结构中显示分区信息

  新增功能说明  

若该数据表为分区表,则在表详情-表结构中,新增展示表的分区信息。


4.支持数据标准的上线、下线审批操作

  新增功能说明  

数据标准模块普通用户创建的数据标准需要经过审批中心审核完成后才可进行上线、下线,上线后的数据标准才可进行标准映射及标准绑定操作。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1accea0759bb1d84ee48f98969e0b8d3..png

(新增功能示意图)


5.元数据同步支持配置自动同步过滤规则

  新增功能说明  

背景:针对监听离线
ddl 语句并实时同步表进入资产的逻辑,客户元数据同步任务是添加了过滤条件的,不想采集 tmp
表到数据地图,通过元数据同步任务是可以过滤掉的,但是实时 ddl 监听的逻辑是没有地方添加过滤条件的,所以离线跑任务的时候,里面的 tmp
表还是会被采集到资产中。


新增功能说明:在元数据同步模块新增【自动同步】功能,用于配置自动同步的过滤规则。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/96ca4629819522df130fcacbc0d3687e..png

(新增功能示意图)


6.greenplum 数据源支持视图同步

  新增功能说明  

greenplum 数据源支持进行视图同步,gp 视图与 gp 数据表共用一个元模型,元模型中新增源表名(视图特有)、视图描述(视图特有)技术属性,在选择 gp 类数据源下的数据时,可选中具体视图进行元数据同步、数据脱敏等操作。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/db79b2f96b8c1fe93b834e69e3829384..png

(新增功能示意图)


7.资产支持 MySQL 类型数据源的自动引入

  新增功能说明  

针对离线创建项目时生成的 meta 数据源,资产支持 MySQL 类型数据源的自动引入,自动引入后需自动创建周期任务。


8.【数据治理】治理工作台、治理配置功能

  新增功能说明  

背景:数据治理的意义是为推动用户依据规范标准进行数据开发,从计算、存储、质量、规范、价值五个维度进行数据治理,目的是优化存储成本、节约计算资源、推动标准规范,让用户通过数据治理看到问题、看到效果。


新增功能说明:本次迭代支持从计算、存储维度进行数据治理,支持自动同步离线开发模块创建的项目信息,可通过配置治理任务对项目进行周期治理,并对产生的待处理问题分配处理人进行处理,实现问题的闭环管理。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7353f113e274ecc93fc2dec5be162c91..png
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/128730eca6357791eea50fe439c6d47d..png

(新增功能示意图)


功能优化


1.告警邮件内容增加实例的计划时间

  体验优化说明  

在告警邮件中增加“计划时间”,原来的“调度时间”修改为“开始时间”,便于用户直接通过邮件等通知观察到具体是哪一天的质量任务校验失败。


2.数据源显示优化

  体验优化说明  

• 已接入的数据源,按数据源数量-库数量-表数据-存储大小的优先级排降序


• 数据目录分布中,根据当前租户对接的子产品模块来显示数据资源内容


3.数据安全开启时 web 层表权限的申请入口脱敏入口去掉

  体验优化说明  

当数据安全子模块中开启权限管控策略时,以数据安全模块配置的权限策略为准,资产模块的表权限的申请入口隐藏。


若数据安全子模块中开启了针对 hive/sparkthrift/trino 的脱敏策略,则脱敏入口中的脱敏应用,不可选择这些类型的数据源下的数据表。


4.表生命周期 IDE 脚本同步

  体验优化说明  

离线开发模块支持通过 IDE 脚本进行生命周期配置,当生命周期有变更时,可同步到资产,在元数据模块查看表详情时可展示生命周期信息。


5.数据脱敏管理优化

  新增功能说明  

数据脱敏规则配置完成后,在进行脱敏应用配置页面支持编辑操作。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9692168f4381bdc57079ba1b56c750c4..png

(体验优化示意图)


6.规范性规则校验优化

  新增功能说明  

规范性规则逻辑优化,例如设置最小长度=20,逻辑为字符串长度大于等于20算符合规则(最大长度函数逻辑同理)。


7.【数据地图】数据表展示优化

  体验优化说明  

数据表的列表展示中,展示内容为“数据源·数据库”调整为展示“数据源 | 数据库”,鼠标悬浮提示“数据源 | 数据库”。


若数据源存在多个,展示第一个数据源名称的完整信息,其他的用“…”表示,例如“mysql_test1… | dbtest1”;针对 Trino 数据源,展示内容为“数据源 | catalog | 数据库”。


表详情页面,在技术属性一栏,“表名”字段的下方,新增字段为“数据源”,展示该数据表的所属数据源信息,多个数据源之间用英文分号分割。元数据模型中的技术属性页面,新增技术属性“数据源”。


8.表结构字段列表编辑交互优化

  体验优化说明  

背景:字段列表里可编辑的内容要一个个点编辑比较麻烦,优化成整表点编辑后所有位置可编辑,编辑完以后整表保存。


体验优化说明:

• 标签添加的交互逻辑优化

• 支持批量编辑字段描述及字段标签




《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack


0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群