数据中台 数据中台

tel 400-002-1024
tel

袋鼠云入选《爱分析·中国数据智能应用趋势报告》,解码数据中台最佳实践

2020年11月9日 袋鼠云 文章来源:袋鼠云.

数据中台成为企业实现数据智能应用的核心

爱分析认为,数据中台能够实现数据汇聚、统一标准与口径,形成数据资产,进而为业务提供高效的数据服务;同时数据中台面向业务场景而建,将数据抽象封装成服务,能够实现数据的资产化、服务化,具有跨部门的普适性业务价值能力,赋能业务部门人员进行数据分析和数据应用;连接数据前台和后台,实现企业的数据开发能力的复用。因此,数据中台成为企业实现数据智能应用的核心。

数据中台架构

数据中台连接前后与后台,基于底层数据存储计算基础设施建设,通过数据开发、数据治理体系与数据资产管理形成可对外进行服务的数据资产,再通过数据服务体系将数据资产转变为数据服务能力,支撑企业上层数据应用。数据运营体系、数据安全管理体系则保障数据中台的持续运营。

袋鼠云入选《爱分析·中国数据智能应用趋势报告》,解码数据中台最佳实践

爱分析对于数据中台的观点与袋鼠云不谋而合,袋鼠云成立以来始终在规范数据中台的定义和标准。袋鼠云作为标杆服务商入选《爱分析·中国数据智能应用趋势报告》,为企业数字化转型提供新思路、新蓝图,推动产业数字化、智能化。

袋鼠云助力某头部券商搭建数据中台,支撑实时业务指标监控

某头部券商国内拥有证券市场业务全牌照的一流券商,致力于“全面提升核心竞争力,打造具有国际竞争力的中国最佳投资银行”。但随着业务、技术的发展,该券商在内部流程和外部业务方面都面临着挑战,也提出了相应的数字化升级需求。

该券商此前已经建设了成熟的大数据平台。随着数据应用走向深入,众多金融机构开始探索实时数据大数据平台,其中,券商对此需求更为迫切。不同于银行的存贷业务,证券的实时数据都是客户交易数据,且证券单客户交易频率远高于银行,因此,券商需要快速处理事件和响应客户需求,对系统实时分析的要求高。例如,其中关键业务场景之一是异常交易监控,监控是否有扰乱市场秩序的大单,如疯狂下单、拉抬股价、打压股价,大单委托、超额委托、超额撤单等扰乱市场秩序、欺骗股民的行为。

在此背景下,该券商的业务体系需要向实时化迭代,提高响应速度和运营精细化程度,这对数据中台和业务系统提出了要求:支持高并发、高准确性、实时反馈等。过去该券商的数据处理与反馈都是以批数据计算为主,未来需要以流计算模式进行,以实现场景触发式服务,只要客户触发一项功能就会触发后面的整套流程。

这些业务需求也对IT团队的开发运维提出了新的要求。一方面,基于Flink流计算框架开发的门槛高,目前该券商开发模块上传至生产环境,包括流程控制、数据源适配等,大多都要靠写代码实现,开发周期长,且企业内部缺乏足够的研发人员;另一方面,基于Flink的系统运维监控难。不同于传统较为成熟的数仓和Hadoop的监控体系,流数据处理的延时、反压不适用于传统的监控逻辑,需要监控整套工作流的各环节作业,该券商以往通过研发人员写脚本实现相应的功能,但不够平台化。

因此,该券商需要借助精通Flink、技术能力强、能够提供实时计算技术支撑的外部厂商,构建实时数仓,为该券商搭建实时数据中台打好基础。同时,降低开发门槛,让更多的初级或中级开发人员甚至业务团队都能使用大数据平台,提升开发效率。

基于FlinkX技术,构建实时数仓

该券商选择与袋鼠云合作。袋鼠云是行业领先的数字化基础设施供应商,致力于数字化基础设施建设。公司研发了云原生一站式数据中台PaaS“数栈 DTinsight”,基于数据中台的理念和产品,帮助客户建设自主可控的企业数据中台和数据共享能力中心,挖掘数据价值,实现企业数智化转型。

“数栈DTinsight”具备天生云原生、自研核心引擎、金融级安全特性,覆盖数据源采集、离线计算、实时计算、数据挖掘、数据治理、数据资产管理、数据共享服务等整个数据中台生命周期,满足企业建设数据中台的多种需求;同时,兼容主流大数据平台,或基于自有计算引擎,可以快速完成大数据平台从0到1的搭建。

该券商实时数据中台项目分两期进行,一是实时数仓建设,二是大数据开发平台建设。

在实时数仓建设阶段,袋鼠云帮助该券商在前期制定标准、选择最终的技术栈,统一数仓建设的标准。基于数栈 DTinsight帮助客户构建实时数仓,实时汇聚包含证券交易、融资融券、个股期权等多个领域数据流,基于Flink技术提供实时数据源,推进企业UCM(统一客户模型)体系构建,快速响应各业务系统数据应用需求,实现全域用户状态实时感知,为上层的业务方提供基于客户状态的实时数据处理,帮该券商重构底层实时数仓,打牢实时数仓的根基。

袋鼠云入选《爱分析·中国数据智能应用趋势报告》,解码数据中台最佳实践

在大数据开发平台建设阶段,该券商将基于袋鼠云的标准化产品数栈DTinsight开发模块,提高开发效率、数据资产管理效率,加强其开发管理能力。

数栈 DTinsight 大大提升该券商的实时处理、开发能力

基于实时数据中台,该券商在实时数据计算与监控、系统稳定性和开发效率方面都有了显著提升。

在实时数据的计算和监控效率方面,过往,该券商的数仓70%以上的指标计算都不能在三秒钟以内完成,基于数栈 DTinsight平台不断优化,该券商可以解决大规模数据计算问题,在计算指标数量大幅增加的前提下,也可以实现在3秒内完成90%的指标计算。例如,该券商可通过流计算搭建实时的反洗钱和风控模型,针对柜台、APP的任何操作和用户行为系统可以马上给出结果并进行审批。若监控到用户交易异常,中央监控平台会即时出现弹窗,业务人员可及时处理;同时,也会有MOT、短信、A PP弹窗提醒,提醒员工或客户及时处理。

基于实时数仓,该券商的实时业务指标数量大幅增加。2018年该券商的业务只有几十个实时指标,从2019年至今,已有1000多个实时指标。例如, 客户中签新股后是否有缴款就是新增的实时指标,投顾无需像过去一样不停地打电话询问客户是否已缴款,同时提升了企业运营效率和客户满意度。

在稳定性方面,在应用数栈 DTinsight平台之前,该券商自行搭建数仓和Flink集群,但系统不稳定,不敢将关键应用迁移至实时数仓。在袋鼠云的技术支持下,该券商系统更加稳定,可以将类似反洗钱等重要应用都迁至实时数仓,支持企业的核心决策,系统报错率大幅降低。同时,数栈 DTinsight平台的工程化更好,可以大规模使用。

在开发效率方面,数栈DTinsight解决了研发标准化和研发便利化的问题。数栈DTinsight平台是基于开源技术框架的成熟商业化产品,该券商无需把时间花在复杂的流处理代码开发上,只需要关注业务逻辑及数据建模,通过SQL化开发,即可快速响应业务部门实时数据需求,实现实时开发的统一规范。基于数栈DTinsight平台,实时数据开发效率提升2倍以上,实时任务排错及解决时间减少80%,实时业务消费数据时效从秒级提升到毫秒级。

目前该券商所有的客户数据都已经实时化。未来,在业务层面,该券商要实现产品数据、公司经营数据实时化,以消息流的模式驱动公司业务,甚至实现实时化决策;在技术层面,该券商正在努力实现批流一体化,以一套代码实现批处理与流处理。