客户A采用GaussDB和Oracle作为存储和计算引擎,自研了数据同步工具和资产管理平台,使用开源的ETL工具进行数据开发和任务调度,形成了一个五脏俱全的数据平台。这个数据平台在当时数据规模不太大,业务需求不太多的情况下有效地支撑了业务的全方面需求,后台数据部门与前方业务部门灵活而紧密地合作着,完成了许多重要的业务目标。然而随着数据规模和业务需求的不断加速增长,传统的数据开发模式也不断地暴露出严重阻碍业务增长的弊病
基于以上问题,我们与客户A共同打造了一站式金融数据中台PaaS——数栈(银行版)。数栈(银行版)在数栈原生功能的基础上针对银行行业的需求进行了一系列的功能新增和改造,帮助银行建立自主可控的数据共享能力中心,助力银行业数智化升级。具体目标有:
1.形成统一的大数据开发平台:兼容银行原有的GaussDB和Oracle存储计算能力,涵盖数据采集、数据开发、数据质量校验、任务运维与监控、发布管理、元数据查询等数据开发完整流程相关功能;落地统一建模规范、数据标准和代码规范,实现数据开发流程标准化,降低因开发人员经验与水平差异带来的开发问题,提高代码质量,提升数据产出的准确性和时效性,快速响应业务需求。
2.开发与管理智能化,降低人工成本:通过表级和字段级血缘自动解析、数据质量自动校验、任务审核通过后自动发布等功能,开发人员可更专注于业务实现,高效、便捷、规范地完成数据开发工作。通过智能监控及时发现和解决问题,免除人工巡检的同时最大程度减少异常任务对业务的影响。
3.资源弹性扩缩容:匹配业务需求的技术架构,计算存储资源可快速扩缩容;
4.自动化数据资产管理,细粒度掌控资产变化:建立字段级数据资产管理,宏观统计数据资产现状,精细化掌控资产变化,上游字段变动,自动分析下游影响范围并通知责任人,实现数据资产的智能化管理。