博客 袋鼠云产品功能更新报告02期丨有亿点点走心!

袋鼠云产品功能更新报告02期丨有亿点点走心!

   数栈君   发表于 2022-12-05 11:07  444  0

不知不觉间,2022年的脚步已经走到了倒数第二个月。临近年末,我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如基线告警、数据服务平台新增TDengine 数据源支持、行级权限根据用户属性实现动态赋权。


以下为袋鼠云产品功能更新报告第二期内容,更多探索,请继续阅读。


数栈DTinsight


离线开发平台


1.支持对接Trino引擎

  新增功能说明  

创建项目时支持对接Trino引擎,支持创建和运行Trino任务。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a2e7662ad7f29caaab2c31a992f0fe25..jpg

(新增功能示意图)


2.个人账号支持绑定Kerberos认证

  新增功能说明  

数栈支持对用户或用户组绑定Kerberos证书,并支持以用户级/用户组级Kerberos账号进行任务提交。

(新增功能示意图)


3.基线告警

  新增功能说明  

基线是一组任务的管理单位,被纳入同一组基线的任务一般需要相同的产出时间。一条基线被纳入监控后,该基线中的任务及其所有上游的任务都会被自动监控。

基线在基线管理中开启时,每天晚上24点会生成第二天的基线实例,以对第二天的基线上任务所产生的实例进行监控。


例子:如下图,设一条基线包含任务D、E,则D、E及其上游的A、B都会被纳入监控。

如果某任务的下游没有被纳入基线的任务(例如C),则即使该任务异常,智能监控也不会报警。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/83362ff6519f9fc0cbe46e367d165a57..jpg

(基线告警示意图)

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/dc2747edf415064a33ecdf1c3a337277..jpg

(新增功能示意图)


4.安全审计增加类目

  体验优化说明  

安全审计增加操作项目类目

(体验优化示意图)


5.NULL可以选择识别为NULL

  体验优化说明  

数据同步任务中,FTP作为源数据源时,NULL可以选择识别为NULL或者空字符串

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/86ac0b628aa772873ac8ea85ec235140..jpg

(体验优化示意图)


6.整库同步可以选择同步任务存放目录

  体验优化说明  

整库同步可以选择同步任务存放目录

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/00576812d8f7db387a3135c12f1041ad..jpg

(体验优化示意图)


7.其他优化项

  体验优化说明  

· 在IDE中进行任务切换时,会记住上次代码浏览位置

· postgresql、db2、greenplum、kingbase、mysql、oceanbase、oracle、sqlserber、tidb等任务,存储函数使用select * from procedure() /select procedure()调用时,在调度不会执行的问题修复

· 表查询结果限制,所有SQL任务数据查询结果默认仅显示1000条

· 数据同步任务当HDFS分区不存在时,高级配置中可配置是否报错

具体说明:通过指定高级配置中failedIfPathNotExist的状态,来配置是否进行报错提示:

若failedIfPathNotExist=true,则报错;若failedIfPathNotExist=false,则不报错


8.技术改造

  技术改造说明  

· 统计数据流量统计优化

· SQL加密解密防止某些关键字被拦

· 支持spark UDF

· inceptor同步支持直接读写文件的方式去进行数据同步


实时开发平台


1.产品首页改造

  新增功能说明  

在原来只有项目入口和帮助手册入口的基础上,新增了更多运维信息。帮助用户进入产品后,不需要一个个进入项目,可以直观的看到目前项目运行情况、当前需要处理什么问题,提高产品可用性。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/952eb0c43f174d5c169d40766d573faa..jpg

(新增功能示意图)


2.任务运行日志推送

  新增功能说明  

在【任务开发-任务设置】页面,支持将任务运行日志推送至外部Kafka,运维人员可基于日志信息做更丰富的日志分析、任务监控等工作。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d39e4d27fe5a8e5dfa11781fef2c1677..jpg

(新增功能示意图)


3.优化项目

  体验优化说明  

· PyFlink任务在创建时可以引用第三方python包

· Flink1.12兼容TiDB Connector

· Flink1.10/1.12兼容开启SASL认证的Kafka Connector

· 优化日志打印格式,避免出现/n/t等字符

· Source Connector新增支持了RocketMQ


数据服务平台


1.【生成API】新增TDengine 数据源支持

  新增功能说明  

TDengine 是一款高性能、分布式、支持 SQL 的时序数据库,广泛运用于物联网、工业互联网、车联网、IT 运维、金融等领域。除核心的时序数据库功能外,TDengine 还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。


目前EasyAPI支持TDengine基本SQL语句的查询功能,可以在「生成API」-「自定义SQL模式」DQL模式下创建TDengine API服务。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/00b28f6fff98e5df4e2b849ca78ff04c..jpg

(新增功能示意图)


2.【API市场】增加批量导出功能

  新增功能说明  

支持API市场API的批量导出,用户可先在测试环境中进行API调试,无误后在API市场批量导出API,再在正式环境中导入API,提高效率。

(新增功能示意图)


3.【API调用情况】新增下载日志功能

  新增功能说明  

「API管理」API调用情况 调用明细/错误明细模块增加「下载日志」功能,可以通过设置调用条件下载7天内的日志数据,方便用户进行明细查看,调用统计。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4fc6ca1aeb934229aa297942366d3ad6..jpg

(新增功能示意图)


4.【生成API】in、not in 操作符增加分隔符配置

  体验优化说明  

之前的版本当进行in、not in 操作符查询数据时,默认入参参数为逗号分隔。存在特殊业务场景入参参数中包含逗号的情况,导致入参分隔错误。


当前版本中,针对in、not in操作符,可以自定义选择英文“,”、“|”、“/”、“:”、“;”五种分隔符,以满足不同客户业务场景需求。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b0617ccc693fa5a65def433c0863d449..jpg

(体验优化示意图)


数雁EasyDigit


客户数据洞察平台

(原智能标签平台)


1.【授权】-标签/实体/群组/目录细粒度权限控制

  新增功能说明  

用户痛点:标签、实体、群组等属于企业数据资源的一部分,随着资源持续维护、资产沉淀,对资源的权限控制提出了更高的要求,本次新增的授权功能能够实现灵活的权限控制。


新增功能说明:给用户/用户组/部门/角色授予当前资源的权限,可授权的资源包括标签、实体、群组、目录,可授予的权限包括可查看、可编辑权限,也可以将资源设置为全员公开可查看/可编辑,实现细粒度的权限控制。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/37c398e9fff51128c795deb5fe6ef166..jpg
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e0b395aca33ed04769162b38e26b0cc4..jpg

(新增功能示意图)


2.【行级权限】-根据用户属性实现动态赋权

  新增功能说明  

用户痛点:行级权限 用来控制用户对标签数据的访问权限,当某个用户被设置了行级权限后,只能查看在权限规则内设置的标签数据。


新增功能说明:

· 支持针对用户属性动态设置权限规则,如1000条结果数据,用户A查看200条,用户B查看500条

· 单个权限标识可设多条权限规则,且最大支持5个层级,条件之间支持配置“且”、“或”关系

· 权限的适用成员可指定用户、用户组、部门、角色,且支持针对用户属性动态设置适用成员

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8ab89528266bf1e466ac72521f66379f..jpg

(新增功能示意图)


3.【多值标签】-标签值分隔去重

  新增功能说明  

多值标签 的值由一个或多个值组合构成,多个值之间由分隔符进行分隔(系统固定为英文逗号),可在实体/关系创建时指定标签是否多值。


多值型标签的操作符包括【包含部分、包含所有、不包含、精确匹配、模糊匹配、不匹配、有值、无值】,可选的是分隔并去重后的标签值。其中:

· 包含所有:若选择多个标签值,筛选结果将同时符合所有标签值,即多个标签值的筛选结果之间使用交集运算;

· 包含部分:若选择多个标签值,筛选结果将至少符合其中一个标签值,即多个标签值的筛选结果之间使用并集运算。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/c2c97aad7a2393ceb37b955133a7697e..jpg

(新增功能示意图)


4.【组织架构】-引入多层级部门

  新增功能说明  

组织架构 是一个组织整体的结构,是企业内部开展业务、落实管理的基本要素。标签系统支持根据多层级的组织架构添加用户,并根据部门进行标签授权、行级权限的控制。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d0c09def38d0c604a576db8589f1d55c..jpg

(新增功能示意图)


5.【批量操作】-发布/更新交互升级

  体验优化说明  

· 批量发布:分类展示可发布、无法发布的标签,并说明标签无法发布的原因,降低操作门槛

(体验优化示意图)

· 批量更新:分类展示可更新、无法更新的标签,并说明标签无法更新的原因,降低操作门槛

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5ac2eb82392c4c33b961222e427ac8e8..jpg

(体验优化示意图)


6.【通用模板】-查询模板设置

  体验优化说明  

设置查询维度通用模板,并直接应用于标签圈群、上传本地群组、群组交并差选查询维度的地方,用户可以在模板的基础上增删查询维度,减少操作成本。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/40870cb3544f6cd40c968499619fc092..jpg

(体验优化示意图)


7.【导出描述】-导出数据时可填描述

  体验优化说明  

用户在导出数据时可填写描述信息,系统将描述信息记录在审计日志中。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/57c882865b7ee18ddd05190ce50559ff..jpg

(体验优化示意图)


8.其他优化项

  体验优化说明  


· 标签圈群支持重置条件

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/da9b182b6135b4ded2a5d35a7fd3e70e..jpg

(体验优化示意图)

· 字典数据最大支持2000条

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2a88f11bcc6c0cd0e41ee6bd887904d9..jpg

(体验优化示意图




想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群