博客 袋鼠云产品功能更新报告06期(指标管理篇)|数栈产品功能升级,做产品我们是认真的!

袋鼠云产品功能更新报告06期(指标管理篇)|数栈产品功能升级,做产品我们是认真的!

   数栈君   发表于 2023-07-13 10:35  749  0

指标管理平台


新增功能更新


1.指标 API 生成的 Hive 大宽表支持生命周期设置

  新增功能说明  

背景:指标 API 生成过程中会在 Hive 中存储一份数据,需要同步支持生命周期设置。


新增功能说明:指标 API 设置中,区分 Hive、HBase 数据源进行数据生命周期设置。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/42ca8e222c6fd00377c2ba6a96b103d7..jpg

(新增功能示意图)


2.增加维度管理模块,支持设置维度对象、维度属性

  新增功能说明  

背景:

目前指标产品只支持一层维度,用户选择起来麻烦。如“客户”有“客户ID、客户名称、客户手机号”等维度,当用户在派生和复合层选择时,需要一个个点。

客户方会有复合指标依赖的2个派生指标用到同一个维度的需求,两个维度未在数据模型中做关联,从而导致无法在当前项目内创建复合指标。


新增功能说明:

• 「指标中心」-「数据管理」新增「维度管理」模块

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/4b5c5363ed4569a13eafb6f8b3c5fb9d..jpg


• 新增“维度对象”、“维度属性”概念,一个维度对象包含多个维度属性,支持一个维度对象下不同的维度属性来源于不同的维度表,支持一个维度属性关联不同的维度表


• 增加主维表、次维表概念。每个维度对象有一张主维表,多张次维表,主维表主要起到批量创建维度属性的作用,次维表主要起到关联维度属性的作用,后续用于识别维度一致性,新建维度对象时,同步选择主维表,批量生成维度属性,后续新增维度属性可通过「新建维度属性」实现,将其他次维表字段关联到已有维度属性通过「关联维度属性」实现

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/a3ec8d07b434d9d879a4caa70dc56f9e..jpg

(新增功能示意图)


3.数据模型支持落表

  新增功能说明  

背景:派生指标是基于模型所用的源表进行指标加工,实际使用中,使用同一模型的多个派生指标频繁重复使用数据源时,当数据源的数据量较大时,加工效率会变慢,此时需要将模型落表以提高加工效率。


新增功能说明:「新建模型」中的【第五步:设置】中的模型存储选项,选择存储为物理表,并配置表信息、调度信息,包括表名称、任务名称调度周期、出错重试,也需要设置数据生命周期信息。指标发布后,系统将提交模型任务周期计算数据落表。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/b1d61ded9945e7ce9fb109fb060d629b..jpg

(新增功能示意图)


4.数据模型中选择的拉链表支持自定义匹配日期字段

  新增功能说明  

背景:数据模型中设置了一个增量分区表(左表),并匹配了一个拉链表(右表),左表包含两个时间字段(一个是用于分区的时间字段,另一个是用于和拉链表的开始/结束时间做匹配的时间字段),目前平台只支持匹配分区时间字段,不支持普通的时间字段,导致模型无法正常创建。


新增功能说明:【第二步:表关联】模型关联表中添加的关联表为拉链表时,拉链表的开始、结束时间可选择直接匹配左表的分区字段(业务日期),也可匹配左表的某一特定的时间字段(左表时间自定义)。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/d64fd800f6fb75f0b0770e9a70245ab2..jpg

(新增功能示意图)


5.增加业务限定模块

  新增功能说明  

背景:派生指标加工过程中,针对同一模型、相过滤条件,针对不同聚合维度、不同计算公式需要生成不同的派生指标的场景,为提高指标加工效率,过滤条件可抽离出来在上层进行业务管理时提前生成业务限定,后续直接引用即可。


新增功能说明:增加业务限定模块,支持批量设置指标计算过滤条件


• 「指标中心」-「数据管理」新增「业务限定」模块

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/02f17fdb9b41fc778d05073e02d7bd84..jpg


• 新增/编辑业务限定

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/0519ce0749f9ce2fffb2ef89f5c6acd5..jpg


• 派生指标加工时的过滤条件设置变更为业务限定选择

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/f6d772a66312c52168351d5978ba582a..jpg

(新增功能示意图)


6.统计周期增加上季末、上年末参数

  新增功能说明  

背景:指标加工过程中,会有加工季度末、年度末的统计周期设置需要,当前无法通过可视化加工实现,只能通过自定义指标实现,本次功能迭代通过可视化配置方式实现该需求场景.


新增功能说明:

上季末参数:${bdp.system.preqrtrend}

上年末参数:${bdp.system.preyrend}

统计周期设置上季末的数据的设置方式如下:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/edb93208af399a386ffaa808b6e05762..jpg

(新增功能示意图)


7.统计周期支持自定义周期标识

  新增功能说明  

背景:统计周期之前只支持设置周期名称,当名称变更后,未被通知到的用户不易正确识别到所需周期,本次加入周期标识,方便定位周期唯一性。


新增功能说明:新增统计周期时,可配置周期标识,字段在周期列表中同步展示。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/ab92294fc32f7bfd642114f356824ae0..jpg

(新增功能示意图)


8.指标表名称支持自定义

  新增功能说明  

背景:客户加工表的过程中,会根据自己的特定规则生成表名称,目前指标生成的表名称是根据系统内置条件生成,不便于客户定位表。


新增功能说明:新增指标的「设置调度信息」步骤中,设置指标表名称(编辑时不可修改)。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/07c50bd4dcc6719fcda29532d6c7ced8..jpg

(新增功能示意图)


9.试计算增加表结构预览

  新增功能说明  

背景:未生成指标表前,客户仅能根据 SQL 判断表内的字段信息,为方便查看表结构,在查看 SQL 信息的同时,可通过可视化方式查看对应的表结构信息。


新增功能说明:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/17fb38949d2541bae77b779fcaba75f2..jpg

(新增功能示意图)


10.复合指标支持自定义关联键

  新增功能说明  

背景:历史功能是将选择的维度作为关联键,生成如下SQL:select A.性别,avg(A.消费金额 / B. 消费人数) from A left join B on A.性别 = B.性别。


但实际 SQL 编写中,存在聚合维度与关联键设置不一致的情况,期望生成下列 SQL:select A.性别,avg(A.消费金额 / B. 消费人数) from A left join B on A.user_id = B.user_id,实际加工结果与期望不符。


新增功能说明:「维度设置」模块的「关联键选择」自定义设置多个关联键,若两个字段的字段类型不一致,需要选择需要转换的字段类型,以保证关联键可以正常匹配。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/309bb463cfcb39706aff73369db5f60c..jpg

(新增功能示意图)


功能优化


1.复合指标运行过程中产生的临时表删除逻辑优化

  体验优化说明  

背景:复合指标运行周期任务实例、运行补数据实例时会针对公式中的各指标生成 Hive 临时表,当任务运行失败时,临时表未进行及时清理,造成客户存储资源浪费。


体验优化说明:每天定时清除2天前生成的临时表。


2.原子指标加工方式升级,可自定义公式

  体验优化说明  

背景:原来的原子指标是将模型字段做直接映射,映射后的原子指标需先生成派生指标/复合指标,再与其他指标表做加工,此时需要有公共维度存在,否则无法进行指标加工,无法满足维度不一致的字段的加工。


体验优化说明:原子指标层针对模型可自定义公式,以解决上述指标加工场景,后续派生指标将直接引用原子指标定义的公式进行数据计算。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/7fecdf2753edee602a9e54c622a7f557..jpg

(体验优化示意图)


3.派生指标的技术信息设置方式变更

  体验优化说明  

• 维度选择:由取原子指标的维度改为取原子指标所引用模型的维度(显示对应的维度对象、维度属性信息),并可针对一批维度批量选中对应的维度对象

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/520a17fbf2dcc345d3d435b3235a3966..jpg


• 过滤条件设置:由原来的根据模型依次配置条件调整为直接引用业务限定中配置的业务限定规则,可一次添加多个业务限定规则

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/bf4a551e44bcd4bf46e6cc6bceafbf70..jpg

(体验优化示意图)


4.复合指标规则设置模块功能划分优化

  体验优化说明  

背景:之前的规则设置模块功能划分中,过程指标的条件设置与指标结果的设置均放到了维度设置中,点击单个指标的操作范围不便于理解,基于操作习惯、理解难度对功能模块重新做了划分。


体验优化说明:整体包含三个模块:维度设置、结果设置、过程指标详情:

• 维度设置:包含复合指标结果表所需的维度、各过程指标结果表关联方式及关联键选择

• 结果设置:保存精度、取整方式、为空默认值、计量单位

• 过程指标详情:针对单个过程指标设置维度过滤、结果过滤条件

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/084864fb8999b6b84f0a3c83d8fbd17b..jpg

(体验优化示意图)


5.SQL 指标 Catalog 解析优化

  体验优化说明  

背景:SQL 指标中没有解析 SQL 语句中用到的 Catalog,导致 SQL 指标后续进行复合指标、API 查询时报错。


体验优化说明:

• 解析 SQL 指标语句,解析 Catalog、表级血缘关系、字段级血缘关系

• 修复复合指标、API 查询 SQL 指标时的报错

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群