数据中台成为企业实现数据智能应用的核心

爱分析认为，数据中台能够实现数据汇聚、统一标准与口径，形成数据资产，进而为业务提供高效的数据服务；同时数据中台面向业务场景而建，将数据抽象封装成服务，能够实现数据的资产化、服务化，具有跨部门的普适性业务价值能力，赋能业务部门人员进行数据分析和数据应用；连接数据前台和后台，实现企业的数据开发能力的复用。因此，数据中台成为企业实现数据智能应用的核心。

数据中台架构

数据中台连接前后与后台，基于底层数据存储计算基础设施建设，通过数据开发、数据治理体系与数据资产管理形成可对外进行服务的数据资产，再通过数据服务体系将数据资产转变为数据服务能力，支撑企业上层数据应用。数据运营体系、数据安全管理体系则保障数据中台的持续运营。

爱分析对于数据中台的观点与袋鼠云不谋而合，袋鼠云成立以来始终在规范数据中台的定义和标准。袋鼠云作为标杆服务商入选《爱分析·中国数据智能应用趋势报告》，为企业数字化转型提供新思路、新蓝图，推动产业数字化、智能化。

袋鼠云助力某头部券商搭建数据中台，支撑实时业务指标监控

某头部券商国内拥有证券市场业务全牌照的一流券商，致力于“全面提升核心竞争力，打造具有国际竞争力的中国最佳投资银行”。但随着业务、技术的发展，该券商在内部流程和外部业务方面都面临着挑战，也提出了相应的数字化升级需求。

该券商此前已经建设了成熟的大数据平台。随着数据应用走向深入，众多金融机构开始探索实时数据大数据平台，其中，券商对此需求更为迫切。不同于银行的存贷业务，证券的实时数据都是客户交易数据，且证券单客户交易频率远高于银行，因此，券商需要快速处理事件和响应客户需求，对系统实时分析的要求高。例如，其中关键业务场景之一是异常交易监控，监控是否有扰乱市场秩序的大单，如疯狂下单、拉抬股价、打压股价，大单委托、超额委托、超额撤单等扰乱市场秩序、欺骗股民的行为。

在此背景下，该券商的业务体系需要向实时化迭代，提高响应速度和运营精细化程度，这对数据中台和业务系统提出了要求：支持高并发、高准确性、实时反馈等。过去该券商的数据处理与反馈都是以批数据计算为主，未来需要以流计算模式进行，以实现场景触发式服务，只要客户触发一项功能就会触发后面的整套流程。

这些业务需求也对IT团队的开发运维提出了新的要求。一方面，基于Flink流计算框架开发的门槛高，目前该券商开发模块上传至生产环境，包括流程控制、数据源适配等，大多都要靠写代码实现，开发周期长，且企业内部缺乏足够的研发人员；另一方面，基于Flink的系统运维监控难。不同于传统较为成熟的数仓和Hadoop的监控体系，流数据处理的延时、反压不适用于传统的监控逻辑，需要监控整套工作流的各环节作业，该券商以往通过研发人员写脚本实现相应的功能，但不够平台化。

因此，该券商需要借助精通Flink、技术能力强、能够提供实时计算技术支撑的外部厂商，构建实时数仓，为该券商搭建实时数据中台打好基础。同时，降低开发门槛，让更多的初级或中级开发人员甚至业务团队都能使用大数据平台，提升开发效率。

基于FlinkX技术，构建实时数仓

该券商选择与袋鼠云合作。袋鼠云是行业领先的数字化基础设施供应商，致力于数字化基础设施建设。公司研发了云原生一站式数据中台PaaS“数栈 DTinsight”，基于数据中台的理念和产品，帮助客户建设自主可控的企业数据中台和数据共享能力中心，挖掘数据价值，实现企业数智化转型。

“数栈DTinsight”具备天生云原生、自研核心引擎、金融级安全特性，覆盖数据源采集、离线计算、实时计算、数据挖掘、数据治理、数据资产管理、数据共享服务等整个数据中台生命周期，满足企业建设数据中台的多种需求；同时，兼容主流大数据平台，或基于自有计算引擎，可以快速完成大数据平台从0到1的搭建。

该券商实时数据中台项目分两期进行，一是实时数仓建设，二是大数据开发平台建设。

在实时数仓建设阶段，袋鼠云帮助该券商在前期制定标准、选择最终的技术栈，统一数仓建设的标准。基于数栈 DTinsight帮助客户构建实时数仓，实时汇聚包含证券交易、融资融券、个股期权等多个领域数据流，基于Flink技术提供实时数据源，推进企业UCM（统一客户模型）体系构建，快速响应各业务系统数据应用需求，实现全域用户状态实时感知，为上层的业务方提供基于客户状态的实时数据处理，帮该券商重构底层实时数仓，打牢实时数仓的根基。

在大数据开发平台建设阶段，该券商将基于袋鼠云的标准化产品数栈DTinsight开发模块，提高开发效率、数据资产管理效率，加强其开发管理能力。

数栈 DTinsight 大大提升该券商的实时处理、开发能力

基于实时数据中台，该券商在实时数据计算与监控、系统稳定性和开发效率方面都有了显著提升。

在实时数据的计算和监控效率方面，过往，该券商的数仓70%以上的指标计算都不能在三秒钟以内完成，基于数栈 DTinsight平台不断优化，该券商可以解决大规模数据计算问题，在计算指标数量大幅增加的前提下，也可以实现在3秒内完成90%的指标计算。例如，该券商可通过流计算搭建实时的反洗钱和风控模型，针对柜台、APP的任何操作和用户行为系统可以马上给出结果并进行审批。若监控到用户交易异常，中央监控平台会即时出现弹窗，业务人员可及时处理；同时，也会有MOT、短信、A PP弹窗提醒，提醒员工或客户及时处理。

基于实时数仓，该券商的实时业务指标数量大幅增加。2018年该券商的业务只有几十个实时指标，从2019年至今，已有1000多个实时指标。例如， 客户中签新股后是否有缴款就是新增的实时指标，投顾无需像过去一样不停地打电话询问客户是否已缴款，同时提升了企业运营效率和客户满意度。

在稳定性方面，在应用数栈 DTinsight平台之前，该券商自行搭建数仓和Flink集群，但系统不稳定，不敢将关键应用迁移至实时数仓。在袋鼠云的技术支持下，该券商系统更加稳定，可以将类似反洗钱等重要应用都迁至实时数仓，支持企业的核心决策，系统报错率大幅降低。同时，数栈 DTinsight平台的工程化更好，可以大规模使用。

在开发效率方面，数栈DTinsight解决了研发标准化和研发便利化的问题。数栈DTinsight平台是基于开源技术框架的成熟商业化产品，该券商无需把时间花在复杂的流处理代码开发上，只需要关注业务逻辑及数据建模，通过SQL化开发，即可快速响应业务部门实时数据需求，实现实时开发的统一规范。基于数栈DTinsight平台，实时数据开发效率提升2倍以上，实时任务排错及解决时间减少80%，实时业务消费数据时效从秒级提升到毫秒级。

目前该券商所有的客户数据都已经实时化。未来，在业务层面，该券商要实现产品数据、公司经营数据实时化，以消息流的模式驱动公司业务，甚至实现实时化决策；在技术层面，该券商正在努力实现批流一体化，以一套代码实现批处理与流处理。