什么是元数据?
元数据(Metadata)是描述其他数据的结构、含义、来源和使用背景的信息。它帮助人们理解一份数据是什么、从哪里来、什么时候更新、由谁负责,以及可以怎样使用。
一张销售表中的订单金额是业务数据,而字段类型、金额单位、统计口径与更新时间是对应的元数据。IBM 对元数据的介绍讨论了技术与业务等不同层面的描述信息。“关于数据的数据”是常见简写,但具体背景比这句话更重要。
为什么只有字段名还不够?
看到一个名为 amount 的字段,使用者仍不知道它代表原价、实付、含税金额还是退款后净额,也不知道单位是元还是分。不同解释会产生完全不同的结果。
元数据把隐含知识变成可共享的信息,减少反复询问和错误猜测。它还让工具能够自动发现结构、识别关系、校验格式和展示目录。
不过,元数据本身也可能过期。字段已经改变含义,说明却仍沿用旧版本,会制造更强的误导,因此元数据也需要维护责任和更新时间。
常见元数据有哪些类型?
技术元数据描述表、字段、类型、文件格式和数据关系。业务元数据解释术语、指标口径、负责人和适用范围。运行元数据记录任务状态、处理批次、更新时间和数据量等信息。
这是一种便于理解的常见分类,不是所有工具必须采用的唯一结构。权限、保留期限、质量结果和血缘,也可以作为管理与使用所需的描述信息。
同一信息可能兼具多个作用。例如字段是否包含敏感内容,既帮助使用者判断用途,也可以支持访问控制与脱敏规则。
元数据怎样被取得和维护?
数据库和开发平台可以自动采集部分技术信息,处理任务可以上报运行状态与血缘。但“这个指标为什么这样算”“哪些场景不能使用”,通常需要业务或数据负责人补充。
因此,自动采集与人工维护需要结合。自动化适合结构与变化发现,人工解释适合业务含义和责任判断。只依赖自动扫描,目录可能很完整却仍难理解;只靠手工填写,又容易与实际系统脱节。
IBM 的元数据管理介绍进一步说明,管理这些描述信息能够改善发现、质量与信任。
一个销售字段例子
以下是说明性例子。
分析人员发现两张表都有“销售额”,一张按支付日计算,另一张按发货日计算。若只看名称,可能误以为两者应该完全相等。
完整元数据应说明计算公式、状态范围、日期依据、退款处理与负责人。使用者据此选择适合的问题:评估收款情况用支付口径,研究履约进度则可能用发货口径。
如果后者还注明“每天上午更新前一天数据”,就能避免把当天暂时为空误认为没有业务。结构、业务与运行信息在这里共同构成理解背景。
元数据、数据目录和数据字典有何区别?
| 概念 | 主要作用 |
|---|---|
| 元数据 | 数据的描述性信息本身 |
| 数据字典 | 集中解释字段、类型与含义等内容 |
| 数据目录 | 帮助搜索、发现和理解多类数据资源的入口 |
数据字典和目录都会使用元数据,但元数据不局限于它们。数据血缘也是元数据的一种重要关系信息,用于描述数据如何产生与流动。
元数据是否也需要保护?
需要。表名、字段含义、人员信息和系统关系,可能暴露内部业务结构。即使不包含具体客户记录,也不意味着所有描述都适合公开。
另一方面,权限过度收紧会让使用者找不到数据。可以根据用途区分“知道资源存在”与“读取资源内容”的权限,但如何区分应由组织制定清晰规则。
元数据的价值应看能否帮助理解和行动,而不是收集字段越多越好。对于重要数据,少量准确、及时的描述,往往比大量无人维护的信息更有用。
元数据为什么也会产生质量问题?
- 自动采集的结构可能很新,业务说明却停留在旧定义;
- 负责人已经转岗,目录仍指向原人员;
- 数据表仍存在,但已不适合推荐使用。这些都是描述信息本身的问题。
因此,元数据需要有来源与维护方式。能够自动取得的内容尽量与实际系统同步,必须人工判断的部分则明确责任与复核触发条件。
描述也不应只重复字段名称。例如“客户类型:客户的类型”没有提供有效信息;说明它区分个人与企业、采用什么代码、何时更新,才真正帮助理解。
元数据管理的目标不是把每个空格填满,而是让重要使用问题有答案。可以优先补充高频、关键资源的定义、时间和责任,再逐步增加背景。准确的少量描述,比大量看似完整却无人维护的信息更能建立信任。
袋鼠云可以提供哪些相关能力?
袋鼠云 MetaDataAssets面向元数据采集、资产梳理和关系管理,可帮助把分散的技术与业务描述组织成可查询、可维护的数据背景。

