博客 业务指标重复开发、门槛高、无体系?指标管理平台帮您轻松解决 丨数智洞见

业务指标重复开发、门槛高、无体系?指标管理平台帮您轻松解决 丨数智洞见

   数栈君   发表于 2021-12-30 16:14  559  0


导读:

数字经济新时代催生了以数据为驱动力的企业生产要素,企业经营管理离不开海量数据的支撑,但是由于指标未统一经常出现重复做工、不同部门间数据误差等情况,造成时间、金钱、人工成本的浪费。如何减少这种浪费?指标管理又是什么呢?一文解答。

阅读本文你可以了解???

▫ 指标管理功能可应用场景(Part 1)

▫ 数栈指标管理功能建设流程(Part 2)


文 / 羽薇

编 / 包子

数字化背景下,企业业务在不断发展过程中,仅从数据表面我们已没有办法充分获取其背后价值,只有当我们结合实际业务场景后,对数据进行相应运算处理,才可呈现出数据价值,让更多的业务运营人员发现数据背后蕴含的业务含义,真正做到数据赋能一线业务。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/11b21efdb6dec02814631c6bbd7c19b7..jpg

客户背景

小张:马上下个月了,咱得提前准备一下,我得更新一下这个月的报表。

小李:对哦,有个业务指标这个月的统计口径调整了,我得让数据开发帮我重新计算一下。

小张:那你得提前和他们说,要不然后面不一定来得及。

小陈:我这边还有一些临时的数据统计要求,得等一下呢。

在业务部门中,数据统计是常态,不管是传统的线下excel上报人工统计,还是后来的业务系统在线统计,统计报表作为管理层辅助决策的重要依据,对数据的需求一直都在。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/6fb0e67502cd9f05ff6e32e0e6f7858d..jpg

对于银行客户来说,在数字化、网络化、智能化趋势下,行业对于账户、客户、客户经理等实体之间的关系逻辑梳理以及数据分析水平也提出了更高的要求,不断变更的统计报表、分析报告需求,也反应了当前业务需求变更频繁化的数据统计常态。

指标作为业务和数据的结合,是统计报表和分析报告中必不可少的组成要素,是量化实际业务效果的重要依据,快速准确的指标结果也有助于提高业务分析的可信度,目前客户在计算指标的过程中,经常会遇到以下问题:

你这个指标我也算过,但是咱们算出来的结果怎么不一样?

信息孤岛:业务数据分散,指标重复开发,同名不同径,同径不同名时有发生。

我要计算近30天账户余额总和,要怎么算?表在哪里?关系是怎么样的?怎么写脚本?

技术门槛:指标开发技术门槛高,懂业务的不懂技术,懂技术的不懂业务。

我记得这个指标值以前算过,怎么找不到了?算了我重新写一遍。

管理混乱:半自动化的指标开发形式,没有统一的指标体系去合理规划所有指标信息,开发了很多指标,但是可以沉淀复用的很少。

针对以上痛点需求,我们建设了统一的指标管理平台,并且结合标准的指标体系梳理,规范化管理行业内所有的指标,沉淀了指标资产

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b49269ac87b1c96ab320b9596fb8c659..jpg

产品建设

1. 建设目标

▪ 建立统一的指标管理平台,汇总所有的指标资产,打破原来分散的指标维护形式,减少重复开发;

▪ 降低指标开发的门槛,支持简单快速地开发指标,满足不断变化的业务需求;

▪ 规范化指标的元数据信息,建立标准的指标信息模板;

▪ 提高指标计算任务的透明性和稳定性,保证指标计算结果的准确性。

2. 建设方式

提供数栈指标管理EasyIndex产品在线开发维护指标,沉淀指标资产,同时设计行业指标体系建设方案。

3. 建设过程

整体从「指标体系的搭建」、「指标开发的模式」、「指标结果的落地」三个核心方向去落地具体的产品方案。

3.1 指标体系

小明:我统计了「当月账户存款余额总和」

小李:我统计了「当月有效账户存款余额总和」

小白:我统计了「当月账户资产总额」,要用存款余额+基金余额,存款余额小明你已经算了啊,我不知道你算了所以又算了一遍,但是我的存款余额怎么和小明你算的不一样呢?

由上述例子可以发现,相同的业务主题下,统计指标的过程中,因为上层支撑业务场景的各种差异,常常会面临类似的逻辑,但是因为个别条件的细小差异而重复地去计算“看似一样、却又不一样”的指标,这些指标之间往往会有千丝万缕的关系,如何合理地规划这些指标之间的关系,复用每一次分析成果,就是指标体系需要去完成事情。

这里我们定义几个基本概念:维度、度量、统计周期、过滤条件(如下图),不难发现当我们将这四个概念定义完之后,在相同的主题下,他们任意组合都能够得出不同的统计指标。

基于这个规律的基础,我们采用「数据模型*原子指标*派生指标*复合指标」的形式去规划所有的指标信息,当数据模型和原子指标稳定的情况下,就能够根据不同的场景,衍生出很多相关的指标,从而达到充分复用每一次逻辑依据,规范化管理指标的目的。

通过指标体系的搭建,从业务场景出发合理规划行业内的指标,让所有指标都呆在自己的位置上。

3.2 指标开发

按照上面设计的指标体系方法论,从银行业务中常见的账户、客户、客户经理等实体出发,整理各个实体之间的逻辑关系,划分对应的主题以及相关的业务过程,基于数仓模型设计完整的指标内容,针对不同的指标类型提供灵活的可视化开发模式:

原子指标:某一业务行为事件的度量,直接基于数据模型中的度量列进行一键生成;

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/630562788ebaca85ae8de240e9a3bc2a..jpg

派生指标:有具体业务统计场景支撑的统计指标,提供在线下拉选择,自动生成,固定由原子指标+过滤条件+统计周期+派生维度组成;

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/11745159d5e5245a50e6232b5fefa07e..jpg

复合指标:建立在已有指标的基础上,提供拖拉拽式的画布操作,支持通过在线的四则运算拼接自动生成新指标;

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7c8b23b6ecb058c47dd3b5cfd2e2bd95..jpg

自定义指标:在线自定义sql生成指标。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8667c60a8168022a6e870ff30279769a..jpg

3.3 指标结果

有计算必然会有计算结果,计算过程的稳定性以及计算结果的准确性,都将直接影响到上层业务场景的应用。

这里我们基于数栈自研的DAGScheduleX分布式调度引擎,生成指标调度任务,在线实现周期性的指标结果落地,其中支持配置调度任务的周期属性、上下游依赖关系、同环比计算等信息。

通过周期性调度任务的执行,保证计算结果的稳定落地,供上层应用查询使用。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f1c2d38e1f78eba8a755e56bfcc3f526..jpg

3.4 建设成果

通过以上一系列方案的落实:

▪ 实现了业务指标资产的沉淀,业务人员需要指标制作报表时,再也不是‘无处可寻,四处可寻’的状态 。

▪ 降低了指标开发的技术门槛,通过简单的拖拉拽配置操作,即可在线生成指标统计口径。

▪ 统一了指标的信息模板,指标名称是什么、口径是什么、负责人是谁,发布时间是什么时候等等,信息一目了然。

▪ 保证了指标计算结果的准确性和稳定性,取代了原来另外写脚本跑任务的形式,所有指标什么时候跑对应什么任务落地什么结果均有迹可循。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/267d70ea4797bad10030889d98fe3e36..jpg

写在最后

数栈指标管理平台EasyIndex,是大数栈产品矩阵中的组成部分,目前已经全面对外上线。

基于指标平台上开发生成指标的模式,技术人员可以在线开发指标,发布指标,维护指标调度任务,落地指标计算结果,业务人员可以统一获取到所有的指标资产,使用指标,为上层业务分析场景提供数据支撑,赋能一线业务。

后续产品也会不断地迭代覆盖多种行业领域,同时完善相关的功能规划,更好地为大家服务,赋能业务场景。

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群