主数据中台,即大数据平台,是数据治理、数据应用和数据分析的核心。它通过统一的数据采集与处理、统一的数据存储与分析展现、统一的业务支撑能力等,实现数据的集中管理与应用。
数据治理是指对数据的收集、加工和处理进行规划的过程;数据应用是对数据处理的结果进行呈现的过程;分析展现是对数据处理过程及结果进行评估的过程。在主数据中台中,将上述三者的功能有机结合到一起:
通过统一的大数据分析工具(例如etl)对主数据中的元数据和维度信息进行分析处理后形成可视化报表或分析图表;汇总各部门的业务系统产生的各类报表和数据集并展示给企业领导层;对各部门上报的报表和报告做进一步分析和挖掘,为企业的决策者提供有价值的信息支持。大数据平台在建设过程中需要解决以下几方面问题:
1、如何确保所有参与方都能获得所需的数据?
2、如何保证所有参与者都按照规则行事?
3、如何保证这些参与者之间能够相互协作?
4、如何保证整个流程高效运行且安全可靠?
5、如何在不影响用户体验的前提下降低运维成本?
6、如何解决海量异构数据的集成问题
7、如何处理多源异构的原始日志文件
8、怎么解决不同部门间的跨系统调用问题
9、怎么做到高可用
10、怎么解决大规模并发下的性能问题
11、怎么做到安全可控
12、怎样保障大数据平台的稳定性和可靠性
13、怎样提升大数据平台的扩展性
14、怎么让大数据平台更智能
15、怎么做成可定制化
16、怎么样把各个部门的需求整合在一起
17、怎么样满足未来发展的需要
18、怎么样才能使企业从”以技术为中心”转向到以用户为中心
19、”云+端”的模式
20、”互联网+”模式
21、云计算架构
22、微服务架构
23、devops架构
24、敏捷开发模式
25、持续交付模式
26.分布式数据库
27.开源社区
28.hadoop框架
29.spark框架
31、kvm框架
32.zookeeper框架
33、fl me框架
33.storm框架
34.flink集群
35.golang集群
36、openstack
37、docker集群
38.redis集群
40.mongodb