01 什么是数据湖？

如果需要给数据湖下一个定义，可以定义为这样：数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。

数据湖从企业的多个数据源获取原始数据，并且针对不同的目的，同一份原始数据还可能有多种满足特定内部模型格式的数据副本。因此，数据湖中被处理的数据可能是任意类型的信息，从结构化数据到完全非结构化数据。

企业对数据湖寄予厚望，希望它能帮助用户快速获取有用信息，并能将这些信息用于数据分析和机器学习算法，以获得与企业运行相关的洞察力。

• 数据湖与企业的关系

数据湖能给企业带来多种能力，例如，能实现数据的集中式管理，在此之上，企业能挖掘出很多之前所不具备的能力。

另外，数据湖结合先进的数据科学与机器学习技术，能帮助企业构建更多优化后的运营模型，也能为企业提供其他能力，如预测分析、推荐模型等，这些模型能刺激企业能力的后续增长。

企业数据中隐藏着多种能力，然而，在重要数据能够被具备商业数据洞察力的人使用之前，人们无法利用它们来改善企业的商业表现。

02 数据湖能为企业带来什么价值？

长期以来，企业一直试图找到一个统一的模型来表示企业中所有实体。这个任务有极大的挑战性，原因有很多，下面列举了其中的一部分：

• 一个实体在企业中可能有多种表示形式，因此可能不存在某个完备的模型来统一表示实体。

• 不同的企业应用程序可能会基于特定的商业目标来处理实体，这意味着处理实体时会采用或排斥某些企业流程。
• 不同应用程序可能会对每个实体采用不同的访问模式及存储结构。

这些问题已困扰企业多年，并阻碍了业务处理、服务定义及术语命名等事务的标准化。

从数据湖的角度来看，我们正在以另外一种方式来看待这个问题。使用数据湖，隐式实现了一个较好的统一数据模型，而不用担心对业务程序产生实质性影响。这些业务程序则是解决具体业务问题的“专家”。数据湖基于从实体所有者相关的所有系统中捕获的全量数据来尽可能“丰满”地表示实体。

因为在实体表示方面更优且更完备，数据湖确实给企业数据处理与管理带来了巨大的帮助，使得企业具备更多关于企业增长方面的洞察力，帮助企业达成其商业目标。

• 数据湖的优点

企业会在其多个业务系统中产生海量数据，随着企业体量增大，企业也需要更智能地处理这些横跨多个系统的数据。

一种最基本的策略是采用一个单独的领域模型，它能精准地描述数据并能代表对总体业务最有价值的那部分数据。这些数据指的是前面提到的企业数据。

对企业数据进行了良好定义的企业当然也有一些管理数据的方法，因此企业数据定义的更改能保持一致性，企业内部也很清楚系统是如何共享这些信息的。

在这种案例中，系统被分为数据拥有者（data owner）及数据消费者（data consumer）。对于企业数据来说，需要有对应的拥有者，拥有者定义了数据如何被其他消费系统获取，消费系统扮演着消费者的角色。

一旦企业有了对数据和系统的明晰定义，就可以通过该机制利用大量的企业信息。该机制的一种常见实现策略是通过构建企业级数据湖来提供统一的企业数据模型，在该机制中，数据湖负责捕获数据、处理数据、分析数据，以及为消费者系统提供数据服务。

数据湖能从以下方面帮助到企业：

• 实现数据治理（data governance）与数据世系。

• 通过应用机器学习与人工智能技术实现商业智能。
• 预测分析，如领域特定的推荐引擎。
• 信息追踪与一致性保障。
• 根据对历史的分析生成新的数据维度。
• 有一个集中式的能存储所有企业数据的数据中心，有利于实现一个针对数据传输优化的数据服务。
• 帮助组织或企业做出更多灵活的关于企业增长的决策。

03 数据湖与数据仓库的区别

很多时候，数据湖被认为与数据仓库是等同的。实际上数据湖与数据仓库代表着企业想达成的不同目标。下表显示了两者的关键区别。

数据湖与数据仓库的关键区别

从上表来看，数据湖与数据仓库的差别很明显。然而，在企业中两者的作用是互补的，不应认为数据湖的出现是为了取代数据仓库，毕竟两者的作用是截然不同的。

04 数据湖的构建方法

不同的组织有不同的偏好，因此它们构建数据湖的方式也不一样。构建方法与业务、处理流程及现存系统等因素有关。

简单的数据湖实现几乎等价于定义一个中心数据源，所有的系统都可以使用这个中心数据源来满足所有的数据需求。虽然这种方法可能很简单，也很划算，但它可能不是一个非常实用的方法，原因如下：

• 只有当这些组织重新开始构建其信息系统时，这种方法才可行。

• 这种方法解决不了与现存系统相关的问题。
• 即使组织决定用这种方法构建数据湖，也缺乏明确的责任和关注点隔离。
• 这样的系统通常尝试一次性完成所有的工作，但是最终会随着数据事务、分析和处理需求的增加而分崩离析。

更好的构建数据湖的策略是将企业及其信息系统作为一个整体来看待，对数据拥有关系进行分类，定义统一的企业模型。

这种方法虽然可能存在流程相关的挑战，并且可能需要花费更多的精力来对系统元素进行定义，但是它仍然能够提供所需的灵活性、控制和清晰的数据定义以及企业中不同系统实体之间的关注点隔离。

这样的数据湖也可以有独立的机制来捕获、处理、分析数据，并为消费者应用程序提供数据服务。

下面这份文档介绍了某集团数据湖项目的建设方案，旨在解决集团内部数据分散、管理能力弱、利用能力不强等问题，实现数字化转型和智慧化运营。（文末附PPT全文下载链接）

一、项目建设背景

• 阐述了数据湖项目的必要性，包括解决数据分散、管理能力弱、利用能力不强等问题，以及响应集团战略要求和“十四五”规划愿景。

• 分析了集团信息化建设的现状和问题，包括业务系统信息化基本形成体系，但缺乏统一数据管理和应用体系。
• 分析了集团业务运营和管理中存在的问题，例如数据孤岛、口径不统一、缺乏数据支撑平台等。
• 明确了数据湖项目的总体建设目标，包括建立集团数据湖及应用平台，提升智慧化经营决策管理能力，实现“4智”应用基础支撑。
• 展示了数据湖及应用平台的总体架构，包括六个平台、四个中心、三个保障体系和一个统一门户。
• 详细阐述了数据湖项目预期实现的“七步走”目标，解决数字化转型痛点。

二、项目建设规划

• 阐述了数据湖项目建设的总体思路，包括四个阶段的建设目标和主要任务。

• 详细展示了数据湖及应用平台的架构图，包括各个平台、中心、保障体系的功能和关系。
• 展示了数据湖及应用平台在四个阶段的建设内容和架构演进过程。
• 展示了集团和事业部数据湖的数据区划分和数据流，以及数据采集、汇聚、治理、分析、共享服务和数据应用等环节。
• 分析了集团数据湖与事业部数据湖之间的关系和定位，并提出了建议。