客户数据洞察平台
新增功能更新
1.衍生标签、组合标签加工过程支持 SQL 预览
新增功能说明
2.数据同步至 HBase 数据库
新增功能说明
背景:创建实体或发布动态群组后,仅运行 Hive 大宽表任务,但不会运行 Hive-HBase 的数据同步任务,导致当日建的实体或群组,当日无法调用 API,需要等周期实例运行后才能用API。
新增功能说明:新建/编辑实体或动态群组后,支持立即将数据同步至 HBase 数据库。
• 创建/编辑实体:调用临时运行接口,跑 Hive 大宽表任务,Hive 到 HBase 的大宽表同步任务
• 发布(编辑已发布的)动态群组:调用临时运行接口,跑 Hive 群组任务,Hive 到 HBase 的群组同步任务
3.重跑历史数据
新增功能说明
背景:数据同步任务重跑历史实例时,只删除数据,不删除表,当标签数量变更后,字段出现了不一致的情况,此时会出现任务运行失败。
新增功能说明:发布的标签变更后,根据最新发布标签情况重跑历史数据,数据同步任务重跑历史实例时,调整为删除表后重新创建表同步数据。
4.支持二次进行数据同步
新增功能说明
背景:用户可能由于 HBase 建表失败导致同步任务失败,此时即便任务重跑也不行,因为当前重跑并不支持建表,而用户无法建表。
新增功能说明:HBase建表失败后,支持二次进行数据同步,重跑时,根据源表结构创建建 HBase 表,如果表结构一致,可不用重新创建。
5.HBase 建表条件
新增功能说明
背景:HBase 表创建是通过定时任务创建,而无论这个任务是否冻结都会创建,这样会产生很多无用的空表,占用大量 HBase 的 Region 和 zk 内存资源。
新增功能说明:HBase建表条件调整为针对未冻结且未删除的任务定时建表。定时任务建表时只创建未冻结且未删除任务的表,任务解冻之后,用户重跑或补数据时先创建表再重跑同步任务。
6.导入标签&上传本地群组时,支持匹配日期类型字段
新增功能说明
• 上传本地群组:支持日期类型的匹配维度,但客户上传数据的日期格式需与大宽表的字段格式保持一致,否则报错
• 导入标签:支持匹配维度支持日期类型的匹配维度,但客户上传数据的日期格式需与大宽表的字段格式保持一致,否则报错
功能优化
1.数据模型权限控制优化
体验优化说明
背景:当前数据模型功能除 admin、租户所有者/管理员外,其他角色不可查看、新增数据模型,但实际使用中,更多的是项目级别的管理员进行数据模型的创建、编辑操作,对于权限要求高的客户来说,不便于将项目管理员调整为租户管理员,导致流程卡住。
体验优化说明:admin、租户所有者/管理员、项目所有者/管理员可以对数据模型进行操作,其他角色按照原来的规则,进到页面不可查看、操作。
《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack