数据湖和数据中台是阿里云在数据治理领域的新尝试。数据湖,顾名思义,是一个由多个”湖”组成的数据集合体。每个”湖泊”都拥有独立的存储、计算和查询能力。当需要对某个特定业务进行集中式处理时,”湖水”中的各个小湖泊就会汇聚起来,形成一个巨大的数据集-这就是所谓的”大数据”。
在阿里巴巴内部,一个典型的数据湖包括:
数据库集群:负责数据的存储、计算等基础工作;
计算平台:负责数据的分析挖掘等工作;
监控中心:用于实时监控整个数据湖的工作状态和数据质量情况;
数据中台:将各业务系统产生的海量数据处理成统一格式的数据服务提供给上层应用使用。
阿里巴巴集团首席技术架构师王坚表示:”从本质上说,大数据和云计算都是一种基础设施。但在大数据和云计算之外,还需要有更底层的it基础设施支撑-即企业级分布式架构体系(简称devops)。只有这样一套完整的技术体系才能真正发挥出它们各自的优势和作用来”。
devops是什么?
devops是一套面向运维管理的软件开发流程规范,其目的是通过自动化工具提升开发团队的开发效率和质量。devops强调以持续集成(cic)、敏捷开发和测试驱动开发(dft)为核心思想构建企业的研发管理体系。从广义上讲,devops可以包含以下四个方面:
1、代码管理
2、版本控制
3、配置管理
4、变更管理
5、项目管理
6、质量管理
7、持续集成
8、单元测试
9、集成测试
10、发布与部署
11、运行时维护
12、运维
13、故障恢复
14、性能调优
15、自动化运维工具
16 、自动化部署与迁移
17 、自动化脚本
18 、安全
19 、文档
20 、其他
除了上面提到的内容之外 ,devops还可以涵盖更多内容 。例如:
1、软件过程改进
2、软件质量保证
3、软件风险管理
4、软件工程方法论 …
如何实现 devops ? 目前来看有两种方式可以实现 devops 的实施和应用落地:
一种是通过开源社区的贡献来实现 ;
另一种则是通过自研的方式来完成 。前者如 gith b 等社区项目以及 google code review 等项目都可以提供一些很好的参考案例和经验总结 ;后者则可以通过搭建自己的私有化环境或者采用第三方的框架来实现 。