数据中台 数据中台

tel 400-002-1024
tel

数据中台在证券行业中的实践

文章来源:.

数据中台作为金融科技浪潮的代表技术之一,在产业升级过程中必将应用会越来越丰富,为证券公司打造自身核心竞争力,为客户提供更加便捷、安全、贴心的智能金融服务。

1、 数据采集

数据采集作为大数据系统体系的首个环节,对于平台来说尤为重要。因此需要建立一套标准的数据采集体系,用以标准规范、保证性能、高覆盖率地采集海量的数据,并传输到大数据平台。其中数据采集分为日志采集与数据库等数据文件的数据同步采集。

2、日志采集

日志数据的采集主要是为了进行后续的数据分析,例如APP端数据采集,既可以帮助开发者分析各类设备信息,同时也能与产品端相配合,更好地了解用户,从宏观及微观角度洞察用户的各种行为,从而进行产品的优化迭代。

3、数据同步

证券公司IT系统里的数据源除了日志外,还有很重要的业务数据。业务数据普遍存储于关系型数据库中,如Oracle,MySQL,SQL Sever等,同时还有来源于文件系统的结构化或非结构化数据。

4、数据开发

大数据平台的采集系统收集了大量数据后,只有经过整合与计算,深入挖掘建立合适的模型,才能被应用于各类业务中,从而实现大数据的价值,达到赋能业务和创造价值的目的。

对于海量数据与复杂的计算,大数据平台需要解决两大问题,数据存储与计算平台,本节针对数据开发过程中遇到的问题进行研究与介绍。