博客 袋鼠云产品功能更新报告06期(智能标签篇)|数栈产品功能升级,做产品我们是认真的!

袋鼠云产品功能更新报告06期(智能标签篇)|数栈产品功能升级,做产品我们是认真的!

   数栈君   发表于 2023-07-13 10:34  427  0

客户数据洞察平台


新增功能更新


1.衍生标签、组合标签加工过程支持 SQL 预览

  新增功能说明  

背景:标签加工过程中,通过规则配置的结果开发不确定是否是其想要的内容,此时,开发人员会希望可以看到 SQL 内容,以确定结果的准确性。


新增功能说明:衍生标签、组合标签加工过程中支持通过「试计算」功能预览 SQL 详情。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user166259/article/af4f32466487c62400721e7e76ce9fa9..jpg

(新增功能示意图)


2.数据同步至 HBase 数据库

  新增功能说明  

背景:创建实体或发布动态群组后,仅运行 Hive 大宽表任务,但不会运行 Hive-HBase 的数据同步任务,导致当日建的实体或群组,当日无法调用 API,需要等周期实例运行后才能用API。


新增功能说明:新建/编辑实体或动态群组后,支持立即将数据同步至 HBase 数据库。


• 创建/编辑实体:调用临时运行接口,跑 Hive 大宽表任务,Hive 到 HBase 的大宽表同步任务

• 发布(编辑已发布的)动态群组:调用临时运行接口,跑 Hive 群组任务,Hive 到 HBase 的群组同步任务


3.重跑历史数据

  新增功能说明  

背景:数据同步任务重跑历史实例时,只删除数据,不删除表,当标签数量变更后,字段出现了不一致的情况,此时会出现任务运行失败。


新增功能说明:发布的标签变更后,根据最新发布标签情况重跑历史数据,数据同步任务重跑历史实例时,调整为删除表后重新创建表同步数据。


4.支持二次进行数据同步

  新增功能说明  

背景:用户可能由于 HBase 建表失败导致同步任务失败,此时即便任务重跑也不行,因为当前重跑并不支持建表,而用户无法建表。


新增功能说明:HBase建表失败后,支持二次进行数据同步,重跑时,根据源表结构创建建 HBase 表,如果表结构一致,可不用重新创建。


5.HBase 建表条件

  新增功能说明  

背景:HBase 表创建是通过定时任务创建,而无论这个任务是否冻结都会创建,这样会产生很多无用的空表,占用大量 HBase 的 Region 和 zk 内存资源。


新增功能说明:HBase建表条件调整为针对未冻结且未删除的任务定时建表。定时任务建表时只创建未冻结且未删除任务的表,任务解冻之后,用户重跑或补数据时先创建表再重跑同步任务。


6.导入标签&上传本地群组时,支持匹配日期类型字段

  新增功能说明  

• 上传本地群组:支持日期类型的匹配维度,但客户上传数据的日期格式需与大宽表的字段格式保持一致,否则报错


• 导入标签:支持匹配维度支持日期类型的匹配维度,但客户上传数据的日期格式需与大宽表的字段格式保持一致,否则报错


功能优化


1.数据模型权限控制优化

  体验优化说明  


背景:当前数据模型功能除 admin、租户所有者/管理员外,其他角色不可查看、新增数据模型,但实际使用中,更多的是项目级别的管理员进行数据模型的创建、编辑操作,对于权限要求高的客户来说,不便于将项目管理员调整为租户管理员,导致流程卡住。


体验优化说明:admin、租户所有者/管理员、项目所有者/管理员可以对数据模型进行操作,其他角色按照原来的规则,进到页面不可查看、操作。

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群