说起主数据可能大家都不太陌生，但有深入研究的可能还是偏少一些。十年前主数据很火，今天的主数据感觉有些冷淡，远不如数据治理、数据中台、数据湖更火，但是主数据是企业信息化和数字化的基础，不是主数据管理没必要了而是要求更高了，今天就聊聊这个话题。

主数据（Master Data）是指具有共享性的基础数据，可以在企业内跨越各个业务部门被重复使用的，因此通常长期存在且应用于多个系统，例如：客户、供应商、组织、人员、物料、产品等，是企业执行业务操作和数据分析的基础。主数据是具有定义和描述核心业务实体的标准数据，通常具有高价值性（业务处理密不可分）、高共享性（多系统共用）、相对稳定性（变化频率较小）的基本特征，还包括识别唯一性、长期有效性、特征一致性等其他特性。它还有个孪生兄弟叫做“参考数据”，用于对其他数据进行定义或分类的数据集，例如：计量单位、性别代码、民族代码、币种和国家代码等。主数据和参考数据，对唯一性、准确性、完整性、及时性的要求较高。而主数据管理(master data management，简称MDM) 就是采用相关的业务和技术策略，确保企业关键数据的唯一、准确、完整和及时，其在具有多套核心系统的大型企业信息化和数字化建设中具有极其重要的地位。

一、主数据管理为什么很重要

在大型企业中，企业为提高工作效率，降低工作成本，建设了诸如企业资源系统（ERP）、制造管理系统（MES）、人力资源系统（HRM）、客户关系管理系统（CRM）等核心系统。随着信息化建设的不断推进，业务系统不断增多，应用于推广的程度不断加深，大量重要数据以各种各样的形式存在于不同的业务系统中。这些核心系统在跨业务、跨系统、跨部门甚至跨企业的业务连贯性需求上，对数据的一致性、完整性、正确性和可控性提出了前所未有的挑战。重要表现在：

l 同一数据在不同业务系统中各自表述、管理口径、统计口径不一致，数据标准缺失形成信息应用孤岛，影响企业管理者经营决策。

l 数据定义不正确、编码各异、大量冗余，给信息化系统的建设与应用带来极大挑战，制约IT辅助经营决策的目标。

l 管理需求与信息系统的不断变化，使数据生产内容缺失、信息失真，影响数据价值、无法为企业精细化管理提供支持。

l 数据责任不明，数据的产生、使用、管理缺乏信息化工具与手段，出现问题不明原因、不知道找谁、不清楚如何处理、不知如何改善，影响IT提升企业经济运行与管理效率的诉求。

因而为了实现异构系统之间的业务集成、数据互通，就需要各系统之间通过暴露服务方式进行连接实现集成。在这个过程中为了标准化不同系统之间数据结构和规则，协调不同系统之间交换和覆盖数据的工作协议，这时候信息化领域才真正明确“主数据”的定义，并确定了主数据的地位——企业信息化建设的基础。通过建设主数据管理MDM系统，从而多域的主数据在一个统一的数据管理平台中处理。通过使用一个平台将数据资产统一到一个单一来源系统，可以显著减少维护多个数据源所需的资源，降低 IT 运营成本，并消除数据孤岛带来的数据可访问性挑战。

二、主流的主数据管理系统功能及管理模式

主数据管理系统（MDM）会由于管理不同各种类型的主数据实现和使用方式会有很多变化，常见的主数据管理系统一般都具备如下功能：数据建模（数据模型/数据设计）、数据采集（数据获取/数据导入/数据集成）、数据清洗（数据处理/数据整合）、数据维护（数据管理）、数据分发（数据发布/数据共享/数据交付）、数据分发（数据发布/数据共享/数据交付）。

大型集团企业应用复杂，不同的管控模式决定了主数据管理MDM系统具有不同的实现方法。基于企业不同的业务场景，常见4种管理模式，本文引用于CDO之家 ，作者Eden的内容：

1. 注册登记模式

注册登记模式是通过对来自不同源系统的数据运行清理和匹配算法来发现重复项，它将唯一的全局标识符分配给匹配的记录，以帮助识别单一版本的真相。这种样式不会将数据发送回源系统，因此对主数据的更改将继续通过现有的源系统进行。相反，它清理并匹配标识的交叉引用信息，并假设源系统可以管理其自身数据的质量。将存储匹配和提供相应记录之间的链接所需的信息，并且可以根据需要访问此数据的视图。当需要一个单一的、全面的客户视图时，它使用每个参考系统来实时构建一个360度视图。但是，需要对数据进行中央治理，以确保黄金记录是可靠的。

注册登记模式是部署速度最快且成本最低的架构，因为它最大限度地减少了实际通过 MDM 工具移动的数据量。注册登记模式提供了一个不修改主数据的只读数据视图，是删除重复和获得对主数据的一致访问的有用方法。注册登记模式的缺点是在收集和比较主记录与远程设备信息时有较高延迟。此外，注册表是一种单向集合，在主级别所做的更改不会传播到 CRM、ERP 和其他系统等远程源，导致主源和远程源中的数据不一致。

2. 合并模式

合并模式是一种整合架构，主数据通常从中心中的多个源进行整合，以创建单个版本的真相，也称为黄金记录。该模式类似于注册登记模式，但添加了将数据从源实际移动到主存储库的功能。黄金记录存储在中心集线器中，用于报告和参考。但是，对主数据进行的任何更新都将应用于原始数据源。

使用合并模式，您可以从许多现有系统提取主数据，并将其导入一个受管理的MDM hub。然后可以清理、匹配和集成这些数据，为一个或多个主数据域提供完整的单个记录。并后的集线器成本低，而且安装速度快，为方便企业范围的报告提供了一种快速而有效的方法。这种风格主要用于分析，为报告和分析提供可靠的数据来源。

3. 共存模式

这种架构方法使整合的 MDM 更进了一步，并增加了将主数据同步回源的关键步骤，创建了一个“共存”在主要存储库和单个系统级别的主记录。允许以与整合模式相同的方式构造黄金记录，但是主数据存储在中心MDM系统中，并在其源系统中更新。共存样式比合并样式的部署成本更高，因为主数据更改可能发生在MDM系统和应用程序系统中。主数据模型的所有属性在上载到主数据管理系统之前必须保持一致并清除。

这种模式的主要好处是，数据在源系统中被控制，然后与中心同步，因此数据可以和谐地共存，并且仍然提供单一版本的事实。这种方法的另一个好处是主数据的质量得到了改善，访问速度更快。报告也更容易，因为所有主数据属性都在一个地方。如果企业的业务需要能够将集中治理的数据链接回源系统，那么合并模式可以自然地发展为共存模式。

4. 事务Hub模式

最完整的架构方法、事务式 MDM 在开销方面也是最昂贵的。主数据从源迁移到中央主数据系统，在那里根据业务规则对其进行处理、清理和标准化，然后返回源。

这种风格通过主节点和源节点之间的直接协调来减少延迟，并具有在整个企业中强制执行数据治理规则的优势。主数据存储中心支持主记录的合并，源系统可以订阅由中央系统发布的更新，以提供完全的一致性。但是，这种风格需要对源系统进行双向交互。企业从一种 MDM 架构开始，然后演变为另一种的情况并不少见。成功构建 MDM 的衡量标准是移动和存储主数据的效率、速度和一致性。

三、大型集团企业主数据管理的常见实现方式

集团主数据管理系统（主数据管理系统以下简称“MDM”）功能的重点是集团层面主数据的统一和标准化管理以及数据分发，固化各类主数据标准、流程、权限及主数据代码库，打通不同系统、组织、业务之间的数据壁垒，通过统一集成分发机制实现基础主数据的全企业范围内共享，最终实现对企业数据的统一源头、统一标准、统一视图管理，为后续IT业务系统的建设提供数据保障。

因而集团MDM首要服务的是集团统建的应用系统，所以集团MDM与集团统建的ERP系统、人力资源系统、司库系统等具有同等重要的位置。同时，集团统建系统其管理和功能要覆盖集团全部所属企业，需兼顾集团整体层面、集团总部、所属企业的多方面需求，既要满足一体化的需要，也需要兼顾所属企业在集团一体化框架下的个性化。

如果以主数据系统作为源头，原有标准的废止和新标准的推广需要时间和过程，对企业现有系统和业务流程具有一定的冲击。事实上，一般企业的主数据项目启动较晚，信息系统建设已初具规模，有些系统的数据质量虽然不高但数据维度基本满足，可以作为源头系统，因而在进行集团主数据系统建设时就常见以下建设模式。

思路一：以集团主数据系统作为数据源头，进行集中管控，向目标系统统一分发。

优点：主数据系统作为唯一的主数据入口，严格把关数据标准和质量，规范维护法则，实现数出同源、规范共享。作为主数据官方出口，当数据出现问题时，无需多系统协调，只需在主数据系统中修复即可，严格保证数据的唯一性、准确性和完整性。

缺点：项目实施过程中，为了保证数据的一致性，一些已建成系统需和主数据系统重新开发接口并采用前期制定的主数据标准，可能会对已建成的系统和业务流程带来一定的冲击，增加企业的资源成本。

思路二：以已建成系统作为数据源头，数据审批完成生成正式编码后，提交给主数据系统进行统一的备案管理。

优点：不调整已建成系统的原有数据结构，在其基础上进行数据清洗，不仅提高了已建成系统的数据质量，减少对现有业务和系统的影响，也降低了主数据项目成本。

缺点：当源系统无法满足下游目标系统的数据需求时，需要对源系统进行相应调整，同时源系统-MDM-目标系统的接口程序也需要做相应调整，维护成本高，同时随着集成的需求和逻辑逐渐增加和复杂，给源系统带来一定的承载压力，不利于企业主数据的统一管理。

思路三：以一个源系统+主数据系统或多个源系统产生的同一主数据，在主数据系统统一汇集、整合、审批生成正式编码，形成多源头模式。

优点：充分利用现有系统的数据资源，不会对现有业务和系统带来较大影响，结合主数据管理的概念进行统一整合，实现主数据的统一规范管理，避免重复劳动，节约资源成本。

缺点：多源头主数据集成最大的风险在于数据质量管控，多个系统各自维护同一数据，如果没有严格的标准和法则进行约束，很容易出现不一致的情况，日积月累，数据质量问题就会显现。

四、大型集团企业主数据管理的多级次多批次建设

主数据管理是如此重要，但是在大型多元化集团却很难一步到位，针对主数据管理MDM系统，必须要考虑集团管控模式和系统部署现状，通常建议采用分级次建设方式。

主要因为所属企业多、各方面差异大，统建系统既要达成集团层面一体化管控的相关要求，也要兼容所属企业的业务具体情况，而且所属企业的系统建设基本也不是一张白纸，可以完全新建的情况很少，所以必然存在对所属企业系统的替代、改造和集成，而解决这类问题，基本都需要分阶段推进。所以很多统建项目在一些阶段中，先允许统建系统集成一部分所属企业自建的系统，后续逐步统一，这就包括MDM，即在一个阶段中，为系统的推广，减少对所属企业既有系统和业务的影响，需要建立集团MDM与所属企业MDM相关系统的集成，这就存在集团MDM和所属企业MDM的多级管理，这是一个方面。

多级主数据管理的存在还有一个重要原因，就是所属企业往往自建有部分业务领域的专业系统，这些内容往往不会纳入到集团统建系统范围内，这些企业自建业务系统的业务也经常是个性化的，数据和主数据也是个性化的，如上边所述，这些个性化的主数据，也不会纳入到集团层面管理，所属企业在多系统集成应用的情况下（集成包括与集团统建系统的集成和自有其他系统的集成），也需要自己的MDM，于是也存在多级MDM应用的客观需要。

袋鼠云在大数据领域深耕7年，拥有丰富的大数据平台建设经验和成熟的产品体系，想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs

同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：https://github.com/DTStack