博客 数据资产平台丨袋鼠云产品功能更新报告10期

数据资产平台丨袋鼠云产品功能更新报告10期

   数栈君   发表于 2024-06-06 11:21  225  0

新增功能更新


1.平台层数据权限管理,包含表级、行级、列级权限的授予与申请

  新增功能说明  

• 支持进行数据权限的配置,可配置数据权限范围、生效用户


• 支持按照库、表、行、列维度进行数据权限的配置


• 支持表级权限的申请(扩充行、列权限的申请),申请通过后,在权限配置的页面,自动为此用户所在的用户组,添加这条权限信息

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0c7e1e49ff42f1a839fea9b4d3c0f496..jpg

(新增功能示意图)


2.移除用户时需进行用户权限转让

  新增功能说明  

背景:当人员离职时,需支持自动交接;在移除产品操作时需要进行用户信息校验;若已经负责了数据治理模块的具体项目,有关联的待处理问题、通知信息配置,需要进行提示,并要在进行权限转让后再移除产品。


新增功能说明:在用户被移除的时候,增加权限交接功能,包括告警配置、权限信息等信息的交接。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/daa45b95948e1aed19e3716bc1240fce..jpg

(新增功能示意图)


3.oushudb/oracle 类型数据源支持视图同步

  新增功能说明  

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8786daba1d77f2203dadad464e66f3f8..jpg

(新增功能示意图)


4.数据表质量校验支持质量评分

  新增功能说明  

支持针对单表校验的表级质量报告分析,包含表质量评分、质量分值变化趋势、质量评估概览、近期规则校验异常明细、近期校验结果;质量概览页面新增针对单表校验下各个数据表的表级质量分排名。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/dc2fd80083d6e3c5a51a3a1f318a67af..jpg

(新增功能示意图)


5.对接数据标准自动创建质量规则

  新增功能说明  

背景:当出现数据质量的规范性校验和数据标准设定规则基本一致时,优化数据质量的规范性校验规则设计逻辑,支持与数据标准对接。


新增功能说明:在创建数据质量的规范性校验规则时,支持自动对接数据标准来生成质量规则。当【数据质量规则】的【规范性规则】创建时,若识别到选择的字段为绑定了标准的字段,支持选择是否引用标准规则。若选择引用标准规则,则会根据标准中定义的长度、精度、枚举个数、是否空值、是否重复,自动生成质量校验规则。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ddbf07d7ce23d8e99d9442bfbff27644..jpg

(新增功能示意图)


6.元数据周期同步增加数据库过滤条件

  新增功能说明  

• 元数据周期同步增加数据库过滤条件


• 新增、编辑周期任务按钮优化,调整为支持「新增」以及「新增并立即执行」两个操作按钮


• 元数据周期同步列表增加数据库、数据表的展示


7.支持 tbds_hive 类型数据源

  新增功能说明  

新增支持 tbds_hive 类型数据源,支持范围包括元数据同步、血缘分析、数据地图、元模型、元数据管理、元数据质量、资产盘点、数据安全(数据权限)。


8.质量任务定时执行可以关联自定义调度周期

  新增功能说明  

背景:在配置质量规则时,无法关联自定义调度周期进行质量任务的运行,导致需要个性化配置运行周期时无法满足;在质量任务运行过程中,存在一个质量任务运行时间过长的情况,中途无法停止导致无法释放资源。


新增功能说明:

• 质量规则创建时,在配置调度信息时支持关联自定义调度周期,修改模块包含新建/编辑单表校验规则、多表校验规则、规则集、查看规则详情


• 质量规则创建后,在质量任务运行过程中支持中途停止操作

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9b78dead6511e1e53480e27d3df13288..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b7ee7b286f951f87da3f1768c52b3b61..jpg

(新增功能示意图)


9.支持记录每条 SQL 解析出的血缘关系

  新增功能说明  

在【数据地图】的【离线任务详情】页面,支持对解析 SQL 结果进行记录,包含 SQL 语句、解析结果(成功/失败)、解析时间。针对解析成功的可查看此条 SQL 对应的血缘关系图谱(只展示表级图谱),针对解析失败的可查看日志。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/32920ed3808fc4bc729b59a65ace1595..jpg

(新增功能示意图)


10.数据脱敏支持对识别规则的优先级配置

  新增功能说明  

• 在配置【脱敏规则】的【识别规则】时,支持扩充匹配符的选择,新增「正则」、「包含」选项


• 在配置脱敏规则时,支持定义识别规则的优先级,优先级高的进行优先匹配,若优先级冲突,默认按照最新配置的识别规则进行脱敏应用


• 支持进行脱敏白名单的配置,存在于脱敏白名单内的数据表默认不进行脱敏操作

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8398f448861ae60f5ad7ff7ed91ae8c4..jpg

(新增功能示意图)


11.针对单表每个字段可以批量生成校验规则

  新增功能说明  

数据质量管理模块,可以批量配置规则。增加 or 或 and 筛选框,支持用户配置检验规则,新增效果检验规则。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/447a5b001c4e6c7ac9d34fd26d62caa7..jpg

(新增功能示意图)


12.新增元数据的展示信息

  新增功能说明  

• 在【数据地图】的【表详情】页面,新增支持在数据表名下方展示表质量评分(若该表无质量评分则不展示),支持点击数据质量评分后跳转至【该数据表的质量报告】

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/fde0f982505c011cfe5e809042fe2784..jpg


• 表信息新增热度统计按钮,并新增订阅数、使用次数、查看次数、影响表数


• 针对操作记录板块新增 DML 操作记录

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/373b8cba93824b8f8dba13f43ecd2317..jpg

(新增功能示意图)


13.数据权限管理新增权限回收功能

  新增功能说明  

在数据权限管理页面新增一个名为【权限回收】的标签页,列表展示每个用户自己申请且已经通过的权限列表。管理员可以通过此功能删除用户的权限信息,默认情况下,只有管理员具备权限回收的权限。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3d0b5e3dc943110f6853b33c940718bc..jpg

(新增功能示意图)


14.规范建表的向导模式配置内容扩充

  新增功能说明  

• 向导模式配置内容扩充:

(1)针对 adb 类型建表支持配置字段是否为主键、是否为空、精度值

(2)针对 inceptor、hive、spark 类型建表支持配置精度值

(3)inceptor 支持配置事务表/非事务表,支持指定 hdfs 存储路径


• 当数据标准中配置了长度、精度信息时,引用标准可自动同步


• 支持 hive3.x(Apache) 类型数据源的建表,建表逻辑和 hive2.x 保持一致

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/834289578dabe19dcb175701eb8276cd..jpg

(新增功能示意图)


功能优化


1.支持配置表生命周期

  体验优化说明  

背景:此前没有基于数据源、数据库维度批量配置数据表生命周期的入口。


体验优化说明:【元数据管理】页面展示维度修改为「数据源」「数据库」「数据表维度」,支持基于数据源、数据库、数据表维度进行生命周期的批量配置。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/42048d85f4092bba8ecf7c8de7b66738..jpg

(体验优化示意图)


2.表行数、存储大小支持显示更新时间

  体验优化说明  

背景:若表行数、存储大小为0,无法区分此表是空表还是没有同步表行数/存储大小,且有可能存在第一次同步了表行数/存储大小,第二次没有同步的情况,故需要记录下最近的更新时间。


体验优化说明:【数据地图】的【数据表详情】中针对表行数、存储大小支持显示更新时间。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/bf0059c5ea63d1a2a5769432854287fb..jpg

(体验优化示意图)


3.字段中文名支持修改

  体验优化说明  

背景:目前数据地图中字段中文名、字段描述的取值逻辑是拿的建表语句中的 comment 字段,字段描述可修改,字段中文名也需要对应得调整为可修改。


体验优化说明:【数据地图】中的【表详情】页面针对字段中文名支持修改操作,支持单个修改/批量操作。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a9211a1e5969fec01464c6d2327ea99c..jpg

(体验优化示意图)


4.在编辑表的业务属性时需提示最大字符长度限制

  体验优化说明  

背景:针对表的业务属性为 string 类型的默认长度为100,目前在编辑表的业务属性的时候没有长度提示,且默认长度较小,会存在某些业务场景长度超限的情况。


体验优化说明:针对业务属性为 string 类型的,默认值的最大长度为255字符,并且在编辑业务属性页面进行最大长度提示。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8ddbc412fea07b65b341d3b93c3ae5e2..jpg

(体验优化示意图)


5.「小文件治理」 周期治理规则配置优化

  体验优化说明  

对周期治理规则的规则配置页面进行优化,针对分区表,设置【查看分区】操作,点击展示每个分区表对应的文件数量。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4ae95e914744264296fa3372cb799723..jpg

(体验优化示意图)


6.元数据同步(日志)优化

  体验优化说明  

· 同步失败的表,不仅展示表名,还展示这个表所属数据库


· 元数据同步时,针对每个同步实例,同步表数量、全部表数量的计算优化


• 日志在同步表记录列表中可以查看每个同步失败的表的日志


7.字段类型设置 varchar 支持自定义字符长度

  体验优化说明  

字段类型 varchar 支持自定义字符长度。在数仓层级设置中,数仓层级为非必选字段。如果用户未选择数仓层级,表名的前缀无信息。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/276b78fae79df5281e47d66f798acfa4..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ff1533d42d228034cbda70b792e3178e..jpg

(体验优化示意图)


8.数据模型建表时支持配置分区范围

  体验优化说明  

性能优化,方便用户在创建时能自定义分区范围,减少操作流程,完善用户体验。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a4ffcf3a3046efcfde1ec404ebe39539..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b6cb262d2c836146f3c6fdca6f853982..jpg

(体验优化示意图)


9.支持 meta 数据源的自动引入

  体验优化说明  

数据资产平台针对所有的子产品(离线、指标、标签)都支持 meta 数据源的自动引入。同时针对指标、标签,支持指标标签生成的 trino 类型 meta 数据源的自动引入。


10.可定义资产概览中展示的默认数据源

  体验优化说明  

可定义默认展示数据源(按照数据源、数据库、数据表数量排序)最多的数据源类型。例如如果用户 spark 数据源下面的数据源数量最多,默认的就展示 spark 类型,涉及到的展示模块包含资产盘点页面以及元数据管理页面。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d2e8437e95ddb3aba7cea0898b18a796..jpg

(体验优化示意图)


11.【资产盘点】数据价值排行逻辑优化

  体验优化说明  

背景:数据价值排行最大可统计最近一年的数据,由于后端存储的是全量数据,随着时间的推移,数据量将不断增加,影响查询性能。


体验优化说明:对【资产盘点】页面的数据价值排行进行逻辑优化,后端仅保留最近一年的数据,以优化性能。


12.数据目录显示和拖动优化

  体验优化说明  

背景:【数据目录】因左侧栏固定宽度,导致目录显示不全。


体验优化说明:【数据地图】的【数据目录】、【数据标准】的【码表管理】、【数据标准】的标准管理(包括标准定义和标准映射)、【数据安全】的【自动分级】的【数据目录】支持左右拉伸,支持选择该层级的整个范围进行拖动。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8bf73d41cea6b13735e2e197d6c38c5f..jpg

(体验优化示意图)


13.支持对表负责人的权限点管理

  体验优化说明  

表负责人变更为非必填属性,针对没有表负责人修改权限的用户,点击编辑业务属性页面时,无编辑“表负责人”选择框

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/76445735a0ce68dae9b56bc928a667d2..jpg


针对没有表负责人修改权限的用户,上传文件后需要校验上传用户是否有表负责人的编辑权限,若无编辑权限,则导入的表负责人不生效(数据开发和访客角色默认无表负责人修改权限)

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ee127f7097c50cb8324b4c764e717c74..jpg

(体验优化示意图)


14.单表校验波动检测结果取值调整为取最新值

  体验优化说明  

针对单表校验中波动检测结果取值,表行数的1天波动性检、表行数的7天波动检测、月度波动检测取值修改为取最新值。


15.告警通道配置校验优化

  体验优化说明  

背景:当控制台未设置邮件默认告警通道,在进行质量配置告警/其他通知时不会提示,会导致发告警失败。


体验优化说明:在配置通知时,将校验邮件、短信是否已配置告警通道,若未配置,会提示用户“短信/邮件未配置告警通道,请先确认告警通道配置完成后再进行通知信息配置。”(涉及模块包含:元数据周期同步告警;元数据实时同步告警;数据质量单表校验、多表校验、规则集告警;数据治理治理任务配置通知、指派人通知;表订阅通知)

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d4b7b59b9f6cc302f88e423aa64972f9..jpg

(体验优化示意图)


16.存储资源情况筛选框保留数据源选择状态

  体验优化说明  

若选择框中已经选择数据源,不论是存储切换为表行数,还是表行数切换为存储,数据源的选择状态都保持不变。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2dc5b9df121b870d2c6d8d84d2588969..jpg

(体验优化示意图)



《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001/?src=bbs

《数栈V6.0产品白皮书》下载地址:https://www.dtstack.com/resources/1004/?src=bbs

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack


0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群