数据中台作为金融科技浪潮的代表技术之一，在产业升级过程中必将应用会越来越丰富，为证券公司打造自身核心竞争力，为客户提供更加便捷、安全、贴心的智能金融服务。

1、 数据采集

数据采集作为大数据系统体系的首个环节，对于平台来说尤为重要。因此需要建立一套标准的数据采集体系，用以标准规范、保证性能、高覆盖率地采集海量的数据，并传输到大数据平台。其中数据采集分为日志采集与数据库等数据文件的数据同步采集。

2、日志采集

日志数据的采集主要是为了进行后续的数据分析，例如APP端数据采集，既可以帮助开发者分析各类设备信息，同时也能与产品端相配合，更好地了解用户，从宏观及微观角度洞察用户的各种行为，从而进行产品的优化迭代。

3、数据同步

证券公司IT系统里的数据源除了日志外，还有很重要的业务数据。业务数据普遍存储于关系型数据库中，如Oracle，MySQL，SQL Sever等，同时还有来源于文件系统的结构化或非结构化数据。

4、数据开发

大数据平台的采集系统收集了大量数据后，只有经过整合与计算，深入挖掘建立合适的模型，才能被应用于各类业务中，从而实现大数据的价值，达到赋能业务和创造价值的目的。

对于海量数据与复杂的计算，大数据平台需要解决两大问题，数据存储与计算平台，本节针对数据开发过程中遇到的问题进行研究与介绍。