1.数据治理的发展

数据治理的概念起源于企业管理领域，关于数据治理的定义研究众多，但由于业界权威研究机构、研究学者以及国内外标准组织研究视角不同，尚未形成较为统一的认知。

国际数据治理研究所（DGI）提出数据治理的定义为“一个根据既定模型针对信息相关过程的决策权和职责分配体系”。

梅宏院士在《数据治理之论》一书中提出数据治理的核心内容包括以释放数据价值为目标、以数据资产地位确立为基础、以数据管理体制为核心、以数据共享开放利用为重点、以数据安全与隐私保护为底线。

国际数据管理协会（DAMA）提出的数据治理概念为“在管理数据资产过程中行使权力和管控活动，包括计划、监控和实施。”

此外，在国际标准中，最早出现的数据治理（data governance）术语定义源自ISO/TR 14872:2019 Health informatics — Identification of medicinal products — Core principles for maintenance of identifiers and terms，将其定义为“以管理信息的质量、一致性、可用性、安全性和可用性为重点的过程”，并强调该过程与数据所有权和管理的概念密切。从上述定义的内容来看主要对信息质量的管理，而后有国际标准从IT治理、数据资产管理等视角定义数据治理，逐渐凸显数据治理应具有统筹协调、权责分配、资源调度等核心能力，涉及数据质量、数据安全、数据合规等关键治理内容。

在国家标准中，最早出现的数据治理术语定义源自GB/T 35295-2017 《信息技术 大数据 术语》，将其定义为“对数据进行处置、格式化和规范化的过程。”，从定义内容来看主要是从数据管理视角来理解数据治理，而后有国家标准从数据管理权利、管控活动等视角定义数据治理，逐渐凸显数据治理具有过程性、集合性以及统筹与协调管控的特征。

结合通用场景下数据治理定义的特征来看，数据治理的核心治理内容主要围绕数据质量、数据安全、数据合规等内容展开，强调要围绕治理内容进行统筹协调、权责分配、资源调度等。

2.数据治理的三个阶段

第一阶段，20世纪80年代，随着数据库技术的发展，企业开始意识到数据的重要性。但当时数据管理主要依靠数据库管理系统（DBMS），直到 1988 年由麻省理工学院的两位教授启动了全面数据质量管理计划（TDQM），可以认为是数据治理最初的雏形。

第二阶段，伴随着数据仓库的建设，主数据管理与商务智能平台的实施，国内也逐步开始接受并利用数据治理的概念进行推广实践。

第三阶段，21世纪20年代，以大模型为代表的生成式模型成为推动人工智能发展的重要驱动力。大模型的兴起对数据治理提出了新的挑战和需求。

3.大模型时代数据治理的难题

随着人工智能技术的飞速发展，大模型已成为推动AI应用创新的重要驱动力。这些模型依赖于海量的数据、强大的算力以及复杂的算法参数来支撑其庞大的智能体系。在这一过程中，数据可谓是大模型的“灵魂”，塑造了其独特的“个性”。

大模型的智能程度与“个性”表现，促使人类社会生产力迈上新的台阶，同时也带来了更大的挑战与危险。

1）数据“高量低质”

数据是人工智能技术的基石，是大模型训练和推断的原材料已成为共识。然而，数据的数量和质量并不总是成正比。在来源上，模型往往依赖于从互联网、社交媒体和公开数据库中采集的数据进行训练，这些数据的来源和质量无法得到有效控制。在管理上，我们面对多模态、非结构化数据缺乏理论与技术的支撑来客观评价数据质量的高低。

这些问题需要数据治理来解决，但传统的数据治理理论与实践更多的适配于面向BI时代的结构化数据，在人工智能所需要的非结构化、半结构化、多模态数据上较为空白。为了应对这些挑战，开发出更负责任、更可控的人工智能应用，面向人工智能的数据治理（DG4AI，Data Governance for Artificial Intelligence）概念应运而生，它旨在通过创新的数据管理策略和技术，解决AI发展中的痛点问题。

2）安全与隐私泄露频发

随着大模型对数据的依赖性日益增强，数据安全和隐私保护已成为核心问题。在大模型的全链路研发、管理和应用过程中，其各个阶段都存在着数据安全与隐私的问题和风险，包括但不限于数据的过度采集、样本的偏差、数据的投毒等情况，存在危害个人、企业甚至社会的安全与利益的巨大风险。

3）偏见与歧视随处可见

在科技飞速发展的背景下，人工智能伦理和道德的关注程度及应对措施尚未完全跟上技术的步伐。自然语言处理技术的滥用案例日益增多。其中包括压制不同意见、侵犯隐私与匿名性等。随着人工智能技术驱动的应用逐步走向产业化，潜在的道德伦理问题成为备受关注的焦点。

这些伦理问题可能源于系统意外产生，也可能是恶意行为者蓄意开发。常见的负面后果包括因人口统计偏见而导致的不公平问题、面向不同用户群体的服务性能不平等、对话者需求的错误识别，以及有害内容与刻板印象的传播等。此外，许多应用只注重信息内容，对文本作者及其信息的社会意义缺乏足够的意识与关注。

DG4AI的提出，是对现有数据治理体系的重要补充。它强调了数据治理在AI研发全生命周期中的重要性，并指出了实现高质量AI应用的关键路径。这一概念的实践，需要跨学科的合作、政策的支持以及技术的创新，以确保AI技术的健康发展，并最大化其对人类社会的积极影响。

对于面向人工智能的数据治理定义建立于对人工智能和数据治理的共同理解之上，因此在这里我们先对几个关键概念进行明确：

人工智能：人工智能（AI，Artificial Intelligence）是一个与认知科学/心理学、哲学、语言学和数学等学科进行了知识融合的计算机科学，当前由于对于智能的定义存在困难，在学界并未有一个统一的定义，但是从商业的角度来看，AI意味着使计算机能够执行各种高级功能（包括查看、理解和翻译口语和书面语言、分析数据、提出建议等能力），达到帮助替代或超越人类的工作的能力。

数据治理：根据IBM、标准要求、数据治理协会等研究（见附录二）综合来看，数据治理主要是从组织层面对数据进行管理。其目的在于确保数据的质量安全性。可指代为企业数据价值化开展的一系列具体性工作，也可指代一系列数据管理活动的集合。

由此，我们可以认为面向人工智能的数据治理（DG4AI，Data Governance for Artificial Intelligence）是指在人工智能应用中管理和控制数据的过程与实践，用以确保数据的质量、可靠性、安全性与合规性，数据能够被准确地用于训练和部署AI模型，同时保护数据的隐私和安全。

从组织层面开展数据治理工作方面来看，面向人工智能开展数据治理的工作，主要包含以下四个阶段：

1.顶层设计阶段：

2.数据治理组织保障体系搭建阶段：

3.数据治理工程建设阶段：

4.数据治理运营优化与AI应用融合阶段：

从面向人工智能场景下所需的数据来看，大致可分为原始的多模态数据集、训练数据集、验证数据集、测试数据集和推理数据集。

从面向人工智能场景的工程建设阶段来看，可分为数据收集、数据预处理/清洗、特征工程、数据标注、数据划分、数据增强、模型训练、模型验证与测试、模型推理等九个阶段。

对于人工智能训练和推理的阶段与数据治理对应关系如下：

1)数据收集阶段：此阶段治理对象包括：结构化数据、非结构化数据、半结构化数据、空间地理数据、时间序列数据等多种模态数据集。数据来源的选择和收集策略直接影响后续的数据质量。数据的有效性和代表性在此阶段就已开始形成。此阶段我们需要保障相关来源的数据量和多样性。

2)数据预处理/清洗阶段：此阶段数据治理对象是数据收集阶段所采集的多模态数据。此阶段对收集到的数据进行初步处理，去除无关信息，修正错误数据，处理缺失值、异常值、重复值等问题，确保数据质量。数据必须具备高度的质量和准确性，保证训练模型时使用的样本数据能够反映真实世界的情况。

3)特征工程阶段：此阶段治理对象包括：原始数据集，中间数据和特征变量、标签数据集等。此阶段将原始数据转化为适合机器学习算法使用的特征表示，包括特征提取、特征选择、特征构造等。对于非结构化数据，可能需要进行特征提取，如文本分词、图像特征提取等。特征的选择、构造与转换过程决定了模型能否有效捕捉到数据中的有用信息，特征的质量直接影响模型的表现力和泛化能力。

4)数据标注阶段：此阶段治理对象主要是标注数据集。对于监督学习任务，需要人工或半自动方式对数据进行标注。高质量的标注数据对于模型的学习至关重要。准确、一致且全面的标注能显著提升模型训练效果。

5)数据划分阶段：此阶段治理对象主要是训练集、验证集和测试集三类。本阶段将数据集划分为训练集、验证集和测试集，训练集用于训练模型。数据划分阶段的质量治理重点在于保障数据分布和数据平衡，合理地将数据划分为训练集、验证集和测试集，确保每个集合都能代表总体数据分布，有助于避免过拟合或欠拟合。

6)数据增强阶段：此阶段治理对象主要是合成数据。为了提高模型的泛化能力和应对不平衡数据问题，合成数据是通过模拟或生成技术生成的人工数据，用于模型训练、隐私保护等目的。虽然对合成数据的质量治理不是直接改善原始数据质量，但能间接提高模型对各种情况的适应性和泛化能力。合成数据质量治理包括对合成数据的生成过程、使用限制等方面进行规范和管理。

7)模型训练阶段：此阶段治理对象主要是训练数据。使用高质量的数据训练模型，会得到更准确、稳定的结果。训练过程中，如果数据质量不佳，模型容易学得有偏差或者过拟合。训练数据的数据质量治理重点保障数据的完整性、准确性、一致性、多样性和代表性。

8)模型验证与测试阶段：此阶段治理对象主要是验证数据和测试数据，包括对抗性样本、稀有事件或者小样本数据等。模型的性能验证和测试依赖于独立的高质量测试集，只有当测试数据具有良好的代表性时，才能准确评估模型在新样本上的真实性能。在模型验证与测试阶段，对数据的要求和活动更加聚焦于检验模型在未知数据上的表现和鲁棒性，确保模型不仅在训练集上表现出色，而且在新的、未见过的数据上也能维持良好的性能。

9)模型推理阶段：此阶段治理对象主要是推理数据集。在模型推理阶段，除了确保模型自身的性能以外，还要关注用于推理的实时数据的质量，通过一系列的数据处理活动来保证模型在实际应用中的效果和稳定性。推理数据集质量治理的关注点主要包括推理数据集的数据格式兼容性、数据质量监控、数据有效性验证、实时数据更新与维护、在线特征提取与转换等。

通过在面向人工智能场景下对数据集与数据工程流程进行系统化、标准化的治理，一是能够提高人工智能模型的准确性和可靠性。二是能够缩短人工智能模型的开发周期，降低开发与维护成本。三是能够提升整个AI系统的安全水平。此外，这项工作还能够完善对未来全域数据治理理论版图的构建。

在开展面向人工智能的数据治理工作时，建议遵循以下原则，从而更好的提升人工智能应用效果、保护个人隐私与社会安全、降低成本、消除歧视与偏见。

上述原则为人工智能数据治理提供了指导方针，确保AI系统的可靠性和公正性，保护个人隐私和数据安全，促进组织的数字化转型和发展。

面向人工智能的数据治理在理论与实践还处在探索期，目前中国信通院已牵头在中国通信标准化协会、国际电信联盟（ITU）等立项相关行业标准、国际标准，后续还将在技术工具、企业能力建设以及实践方法论等发面持续开展研究、合作与生态建设工作。

本文系转载，版权归原作者所有，如若侵权请联系我们进行删除！
《数据治理行业实践白皮书》下载地址：https://fs80.cn/4w2atu
《数栈V6.0产品白皮书》下载地址：https://fs80.cn/cw0iw1
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs
同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：https://github.com/DTStack