数据中台 数据中台

tel 400-002-1024
tel

袋鼠云入选《爱分析·中国银行业数字化趋势报告》,助力银行在存量时代破局

2020年11月9日 袋鼠云 文章来源:袋鼠云.

新周期、新常态之下,银行业金融机构面临重重挑战

根据银保监会2012~2020年间公布的数字显示,尽管中国商业银行的利润呈稳步上升趋势,但年均增长率已经降低到个位数,且大部分年份都明显低于中国GDP的年增长率。

面对来自经济周期与市场环境的重重挑战,银行业金融机构亟需借鉴新型金融机构的先进数字化经验,实现数字化驱动的经营策略。

根据对银行业金融机构的大量调研,中国领先的产业数字化研究与咨询机构——爱分析发布了《爱分析·中国银行业数字化趋势报告》,面向银行业金融机构的决策层、业务负责人与IT负责人,以专业视角梳理银行业数字化转型的典型场景与业务诉求,并提供策略建议、落地方法论与最佳实践案例,从而推动银行业金融机构数字化转型进程。

袋鼠云至今已成功服务了近百家银行机构,为银行客户提供数字化基础设施建设,搭建数据共享中心。凭借在银行业的杰出服务能力,袋鼠云作为标杆案例入选《爱分析·中国银行业数字化趋势报告》,为银行业数字化转型提供新思路、新蓝图。

袋鼠云数栈“DTinsight”,为某上市银行量身打造“分行数据集市应用云平台”

当前,该银行各分行的业务系统由总行统一搭建,数据也统一存储在总行的数据仓库中,即“数据大集中”。该银行在全国设有40多个分行,每个分行都存在数据分析的需求,分支机构如何去解决在数据上收以后本地数据应用的需求,就成为一个比较严峻的问题。

面对分行的数据分析需求,过去该银行采取的模式是“总行下发、分行建库”,即总行每天在数据仓库中将不同分行的数据进行切分,然后通过网络传输给各个分行,由分行自行建设独立的数据仓库,独立存储、独立运维、独立管理、独立进行数据处理与分析,如下图所示。

袋鼠云入选《爱分析·中国银行业数字化趋势报告》,助力银行在存量时代破局

“总行下发、分行建库”的模式带来的弊端包括以下五个方面:

袋鼠云入选《爱分析·中国银行业数字化趋势报告》,助力银行在存量时代破局

1)数据治理压力大

总行具备较为丰富的大数据人才,能够进行完善的数据治理工作。但是,各分行之间的技术能力差异明显,并非所有分行都有完善的大数据架构的开发和运维经验。

因此,技术能力不足的分行承受着较大的数据治理压力。

2)数据存在滞后性

总行需先完成数据提取、数据切分、数据传输、数据载入等多个流程环境,再分别下发数据至各分行,传输链路较长。这带来的问题,一方面是海量数据传输对网络质量要求较高、压力较大,另一方面是数据传输存在滞后性,分行常常在中午或下午才能拿到前一个工作日的数据,数据滞后比较严重,影响分行数据产出时效性。

3)经验成果难共享

过去,各分行一般自行建设或购买BI等数据分析工具,使用的工具在技术、供应商等方面千差万别,使得某些领先的分行研发出的数据分析经验或成果,很难无缝地分享给其他分行。

4)数据质量难保证

由于总行有大量业务系统,而各个分行也有大量独立建设的业务系统,而这些系统间缺乏统一的数据校验、质量保证机制,导致数据进行关联分析的时候,存在大量的“脏数据”,影响数据业务价值的表达。

5)数据安全受挑战

尽管总行有完善的数据安全管理机制,但是一旦将数据下发给分行,就无法对下发到各分行的数据进行持续安全管控,造成了一定的数据安全隐患。

数据中台,开启银行分支机构大数据应用新模式

为了应对这些挑战,该银行总行决定在全行范围内建设“分行数据集市应用云平台”,并选择了袋鼠云作为建设合作伙伴。

袋鼠云成立于2015年11月,核心产品是云原生一站式数据中台PaaS“数栈DTinsight”,并提供数据中台解决方案、数据可视化服务、数据化运维解决方案,致力于全方位帮助客户建设数字化基础设施,实现数字化转型。

基于数栈DTinsight,袋鼠云与该银行围绕分级租户、数据下发、模型构建与加速、可视化分析等方面合作定制开发,打造上线了“数据集市应用云平台”。数栈DTinsight功能模块如下图所示:

袋鼠云入选《爱分析·中国银行业数字化趋势报告》,助力银行在存量时代破局

1、数据平台化:构建分级租户模式

在数据平台化阶段,该银行首先要解决“总行下发、分行建库”模式带来的总分行、各分行之间的数据共享难题。

为此,袋鼠云与该银行在数据仓库层面进行了联合的定制开发,包括分级租户、数据下发、平台构建、模型构建与OLAP加速、可视化分析等四个部分。

1)分级租户

袋鼠云首先基于Cloudera Impala在银行总行搭建了面向全行的公共数据仓库,并与银行进行联合定制开发,构建了分级租户模式的大数据应用平台。

在定制开发过程中,袋鼠云基于总行公共数据模型表,构建了面向不同级别分行的多租户模式。在这种模式下,分行租户仅能访问被授予权限的功能,比如BI报表、数据API、数据模型等,以及含有本分行自有数据的私有库,如下图所示。

袋鼠云入选《爱分析·中国银行业数字化趋势报告》,助力银行在存量时代破局

最终,分行仅需访问总行的大数据应用平台,就可以进行权限独立的大数据分析,各分行独立管理,可实现既不会相互干扰,又为未来的共享场景打造基础。

2)租户数据下发

分级租户建设完毕后,当总行有新的公共数据需要下发给分行时,无需再通过数据传输的方式实现,仅仅需要在总行公共数据模型表中,为特定分行创建专属的视图表,而多个视图表构成了可供分行访问的公有库。

但是,各分行仍然拥有私有库,其中的数据则需要分行自行上传并进行开发。

3)模型构建与OLAP加速

所有分行都集中到总行服务器上进行数据分析,对报表分析等OLAP过程的性能提出了极高的要求。

为此,袋鼠云将查询加速引擎Kylin集成到系统中,并且定制开发了与原生Kylin类似的Cube建模页面,帮助该银行IT人员快速建立Cube模型,从而实现OLAP分析的加速。

4)可视化分析

传统的分析报表、可视化大屏缺乏自助式分析能力,使用门槛较高,业务人员的新需求常常需要依靠IT人员进行技术支持。

为此,袋鼠云基于Impala数据仓库、Kylin Cube等开源技术,协助某BI厂商实现了自助式数据集,无需IT人员再重复构建数据模型,从而为业务人员提供低门槛的自助式分析能力。

2、数据资产化:基于数据质量工具,提升数据业务价值

对该银行来说,如果在大数据分析应用中,数据来源的质量无法得到保证,那么数据分析结果的最终价值同样会大打折扣。因此,该银行希望有效地对数据质量进行管理,而这也是数据资产化管理的重要组成部分。

为此,袋鼠云为银行提供了数据质量DataValid产品模块,并与离线开发BatchWorks进行有效协作,帮助银行开发人员在数据抽取、处理过程中,对数据质量进行有效校验,并提供面向业务人员、IT人员的质量管理页面。

比如,银行业务中的一张客户信息表会包含性别、身份证号、年龄等信息,而银行开发人员在使用BatchWorks对交易型数据库中的数据进行抽取时,可利用DataValid对客户信息进行校验,如性别是否符合身份证内容、身份证号格式是否错误、年龄是否超出限定年龄范围等。一旦发现校验失败的数据,平台既可以直接对数据进行过滤、信息补充等操作,也可以在将数据报送监管部门前,向相关人员发出预警出具校验报告后,完成快速数据报送。

3、数据服务化:基于数据共享服务EasyAPI,实现深度业务赋能

银行中,存在客户画像、反欺诈、绩效核算、财务报表等许多业务场景,而这些场景都依托于特定的业务系统。在这些业务系统的开发过程中,为了满足业务人员的需求,开发人员常常需要获取来自数据资产层的数据,并将其集成在业务系统中。

在传统的数据调用方式下,开发人员需要获取特定数据库的权限,并直接调用数据。但是,这种模式存在两点漏洞:第一,无法对数据的取用进行有效管理,难以保证取用过程的标准化与结果的准确性;第二,存在安全漏洞,无法对调用数据的人员的数据使用方式进行权限管理。

相比于从数据库中直接调取数据的模式,通过API的方式向特定业务系统的开发人员开放数据服务,是一种更加标准化、高安全性的数据服务方式。但是,API接口的开发过程仍然需要依靠开发人员,但API接口数量往往很多,且需求随时会发生变化,因此开发成本与周期较高。

因此,袋鼠云为该银行部署了数据共享服务EasyAPI。产品部署后,仅仅在杭州分行,就统一定义和管理了约100个API,每天调用次数超过1万次。

EasyAPI的主要价值有两点:第一,支持无代码开发,采用页面配置的方式快速生成API;第二,提供对API接口的统一管理能力,如API接口限制访问的次数和周期、授权方式等等。

数据应用集市云平台采用当下最前沿的金融大数据技术,结合银行的行业和运营特点,开创性地采用总分联动模式,简化数据开发、数据应用流程,为其带来多方面的价值:

  • 首先,减少各分行的软件、硬件采购与运维阶段的重复投入,节约成本;
  • 其次,从零散工具升级为数据中台一站式服务,从表/视图的交付模式改为交付“数据集”,减少学习成本,大大提高数据开发效率;
  • 再次,数据应用云平台为行内数据应用建设提供技术底座+上层工具,为营销、风控、客户体验等方面的综合效益提升,打下坚实的基础。