数据集成是构建企业级DataOps数据平台的第一步，依赖企业内部的跨部门协作，能够将不同来源的数据（不同的业务系统）以及不同类型的数据（结构化、半结构化、非结构化、离线以及实时数据等）进行整合，实现互联互通。从源头上避免数据的重复造轮和资源浪费问题，为构建规范化的数据体系、沉淀数据资产以及挖掘数据价值作准备。
数据集成一般是通过数据引入方式，将一个系统的数据按时按量集成到另一个系统中。通常采用ELT(Extract-Load-Transform，提取-加载-转换)的模式，重点在于数据汇聚，即将数据提取后直接加载到目标端存储中，这个阶段一般不做或者只做简单的数据清洗和数据处理。业界优秀的数据集成工具包括像Sqoop、DataX、Kettle、Canal以及StreamSets等。
数据开发的目标是能够将数据集成阶段的原始数据，按照业务的需求进行加工处理、将原始的低业务价值的数据转换成高业务价值的数据资产，也就是说数据开发阶段是实现数据资产化的核心技术手段。
数据开发作为数据加工处理的核心阶段，通常会采用ETL(Extract-Transform-Load，提取-转换-加载)的模式并集成一系列的数据开发管控流程和工具，方便数据开发人员对ETL任务的编写、构建、发布、运维以及任务资源管控等，提升效率。通常数据开发主要分成离线数据开发和实时数据开发两大场景。
离线数据开发主要用于离线数据的批量定时加工处理，离线数据开发需要包含离线计算引擎、作业开发、任务调度、数据管控以及运维监控等核心能力，实际使用过程中，相关的离线ETL任务会按照预先设定的加工逻辑和ETL之间的拓扑依赖关系，进行调度执行。常见的离线处理框架包括MapReduce、Hive以及Spark等。在阿里巴巴内部也早已形成体系的MaxCompute通用大数据开发套件，快速解决用户的海量数据离线计算问题，有效降低企业成本并保障数据安全等。
实时数据开发主要涉及对实时流式数据的加工处理，满足像监控告警、数据大屏等对实时性要求较高的场景。在实时计算场景下，业务系统每产生一条数据，都会通过消息中间件（比如Kafka）被实时发送到流式处理平台进行加工处理，不再依赖调度引擎。常见的流式处理框架包括Storm、Spark Streaming以及Flink等。在阿里巴巴内部也基于Apache Flink构建了一站式的实时大数据分析平台，提供端到端的亚秒级实时数据加工处理分析能力。
有了数据集成和数据开发的能力，下一阶段就是考虑如何进行数据存储和数据组织，其核心是标准规范的数据仓库和数据模型建设，也就是说数据仓库是实现数据资产化的呈现载体。
目前用的最多的数据建模方式是维度建模，典型代表有阿里巴巴建设的“OneData”数据建模体系，主要包括数据规范定义、数据模型设计以及ETL开发规范三部分。
数据规范定义：数据主题域、业务过程、指标规范、名词定义以及时间周期等命名规范。
数据模型设计：模型层次划分(分成数据引入层ODS、数据公共层CDM以及数据应用层ADS三层，其中CDM层又包括明细数据层DWD、汇总数据层DWS和维度数据层DIM)、模型设计原则、模型命名规范、模型生命周期管理以及数据质量规范等。
ETL开发规范：数据处理作业的研发流程、编码规范以及发布运维原则等。
数据仓库实施工作流（来源：《大数据之路》）
数据仓库建设工程链路（离线链路+实时链路）
数据治理主要是对数据资产，配置数据管理策略，主要包括数据标准、数据质量、数据成本以及数据安全等内容。通过多维度进行量化评估，针对数据建设提出改进与优化建议，确保数据质量、标准、安全、易用。它包含以下功能：
数据标准化管理：负责数据仓库中数据的表达、格式以及定义的规范性，包括模型规范、数仓元数据规范、名词术语规范、指标规范等进行管理，针对未标准化的内容提出改进建议。
数据成本：主要从存储量和访问情况等沉淀相关治理项，比如：空表、无效表（未关联ETL任务表）、长期未访问表、长周期表、大数据量表等，通过对治理项的运作，提出优化建议，推动数据开发人员进行成本治理。
数据质量：围绕数据的完整性、准确性、一致性、有效性和及时性五个维度并对数据的重要性进行资产等级划分，对质量保障既包括事前保障，比如数据开发流程、数据标准执行等，又有事中保障，比如DQC的数据质量实时监控和告警，还有事后保障，比如数据质量故障复盘，确定质量问题根因等。
数据安全：评估数据安全风险，对数据设定安全等级，包括支持安全认证和权限管理、资源隔离、数据加密、数据脱敏等，保障数据安全可靠的被传输、存储和使用。
数据服务旨在提供统一的数据消费服务总线，能够将数据资产生成API服务，其目标是把数据服务化，让数据能够快速集成到业务场景当中，发挥数据平台的价值。它包含以下主要功能：
异构跨库查询：如果数据分布在多个异构数据库时，用户无法简单的实现数据关联查询，通过数据查询服务，可以减少数据同步作业，直接实现从多个源数据库加载数据与完成查询的能力。
数据API 定义与管理：部份常用的数据点查或统计分析，可通过定义数据集与API名称，并最终暴露为一个HTTP资源路径的方式，并对数据API进行发布和访问授权，方便在各类脚本或代码中使用数据。
数据缓存：对于常用的数据查询，可定义缓存与更新策略，来减少数据查询穿透到数据库，提高性能并降低对数据库的性能负载。
服务编排：按照业务逻辑，以串行、并行和分支等结构编排多个API及函数服务为工作流。
有了标准化的数据体系以后，针对数据进行分析和使用又是DataOps所关心的另一个维度的问题，这也是数据驱动的关键环节，也即以数据为中心进行决策，驱动业务行为。数据分析人员利用各种数据统计分析方法和智能算法，通过数据平台提供的数据服务API，对相关数据进行多维度、深层次的分析挖掘，支撑业务相关的数据应用场景，持续让数据用起来，真正发挥数据平台的业务价值。
不同的业务有各自的应用场景，所以这一部分很难面面俱到。本文仅简单介绍几种常见的数据应用场景，希望能帮助大家更好的理解，如何基于数据平台的数据资产和数据服务，进行数据分析和使用。
数据大屏：通过对数据进行分析计算，借助BI类软件，结合业务需求，以图表等形式，把一些关键的汇总性数据展示出来，实现数据可视化，为业务决策提供准确可靠的数据支持。
智能场景：属于AIOps范畴，基于数据平台的数据，通过AI算法，从数据中进行提炼、挖掘、洞察，为业务基于数据进行决策和运维运营时提供智能能力，获得更有前瞻性的数据支持。比较典型的智能应用场景包括像智能推荐、智能客服、智能预测以及健康管理等等。
当然，数据分析也并不是数据的终点，因为随着数据的沉淀，业务规模的扩大，很多数据分析的结果也可能会作为另一个更高维度模型的数据输入，被纳入数据平台的数据资产当中。因此，数据分析和开发人员需要从一个更高的维度和视角，去整合海量的数据。这也就意味着数据处理的链路并不是一成不变的，数据量会随着业务不断增长，数据模型也同样需要不断演进。
免责申明：
本文系转载，版权归原作者所有，如若侵权请联系我们进行删除！
《数据治理行业实践白皮书》下载地址：https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址：https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs
同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：https://github.com/DTStack
DataOps 旨在缩短整个数据分析的周期，具体的目标功能是什么？ 
202
0
