放眼全球,数据作为一种新兴生产要素,在全球经贸活动中扮演着至关重要的角色,驱动着数字经济的蓬勃兴起。据前瞻预测,至2025年,全球数据流动对整体经济增长的贡献预估将达到惊人的11万亿美元。
近几年国家对数据要素关注度不断上升。2023年12月31日,国家数据局等17部门联合印发《“数据要素×”三年行动计划(2024—2026年)》,该计划书中提到,发挥数据要素的放大、叠加、倍增作用,构建以数据为关键要素的数字经济,是推动高质量发展的必然要求。
可以预见的是,2024年,一个全新的“数据×”时代将全面启幕,释放数据乘数效应,催化新质生产力的发展。而实现这一目标的关键路径在于推进数据资产化进程,利用数据要素驱动业务变革,实现数据价值。
本文将深入探讨数据要素与数据资产化的定义及其重要性,并在大数据背景下明确它们的关键角色。同时,梳理数据资产化的实现路径以及如何实现数据的应用价值,从而为企业在新时代的创新发展赋能,实现业务升级与价值跃迁。
数据要素&数据资产化
什么是数据要素?
据《数据要素白皮书(2022年)》,数据要素是指参与到社会生产经营活动中,为所有者或使用者带来经济效益的数据资源。因此,“数据要素”一词是面向数字经济,在讨论生产力和生产关系的语境中对“数据”的指代,是对数据促进生产价值的强调,即数据要素指的是根据特定生产需求汇聚、整理、加工而成的计算机数据及其衍生形态,投入于生产的原始数据集、标准化数据集、各类数据产品及以数据为基础产生的系统、信息和知识均可纳入数据要素讨论的范畴。
数据要素的核心属性包括唯一性、原子性和定义清晰性,这些特性使得它们能够被系统准确识别、处理和分析。比如我们的手机号码、邮箱地址、浏览网页的记录等等,这些都是数据要素,它们可以被收集、储存、分析和利用,帮助我们更好地做出决策和解决方案。
数据资产化的必要性
在数字经济中,确保数据的有效和安全利用是至关重要的。而数据资产化的实施,正是构建数据质量和安全保障体系的基础所在。数据资产化包括数据的收集、存储、使用和分享的规则和标准,此外,数据资产化还涉及到数据的隐私保护和合规要求,确保数据的使用不会侵犯个人权利或违反法律法规。
所以可以说,数据资产化是实现“数据要素x”的基础,只有通过对数据资产的规范性管理才能为数据实现经济价值创造条件。通过数据资产化,可以更好地管理数据资产的获取、存储、处理、共享和使用过程,提高数据的可靠性、准确性和安全性。
如何实现数据资产化?
借助袋鼠云的「数据资产管理平台」,通过元数据采集、元数据管理、元数据分析的完整链路,采集并维护规范的元数据信息,打通数据关系网络,企业能够实现对数据资产化的标准化和规范化管理。
并且,企业可通过资产盘点了解数据资产大盘,结合数据安全管控相关功能,为数据价值挖掘提供 “全、统、通” 的元数据基础,充分释放数据要素潜能,驱动业务创新与升级。
元数据采集
元数据采集是实现数据资产化的基础。要做元数据信息的采集,首先要通过企业内调研,梳理企业需要统一做元数据管理的业务数据、湖仓数据或者应用数据。收集到各类数据的数据源连接信息后,向各数据负责人申请只读元数据权限,来进行元数据的采集。
成功连接数据源后,可通过袋鼠云「数据资产管理平台」创建针对具体数据源或数据库的周期同步任务以及临时同步任务。若存在无需采集维护的数据库表信息,可通过设置数据库过滤条件和数据表过滤条件,避免不重要的数据库/表同步到资产平台,并支持配置元数据的临时同步内容与同步任务的调度周期。
在同步完成后,平台会自动采集每类数据源下数据表的元数据信息,例如所属数据库、数据表创建时间、DDL 最后变更时间、存储位置、存储大小、存储格式、表行数、表类型等技术属性信息,完成数据资产化的初步维护工作。
元数据管理
完成元数据采集后,可根据具体业务需求,进行元数据的规范化管理,提升数据资产化的质量。首先,可通过线下和各数据源负责人沟通元数据缺失情况,探讨元数据模型设计规范,列举出每类数据源需要维护的元数据项并录入平台。
其次,可通过元数据维护手段,为每一份元数据分配负责人,保证元数据维护的工作能够落实责任到人。负责人需要根据安排完整地维护缺失的元数据信息,且所有参与维护人员均可给该数据资产打上自定义标签,方便快速按照标签分类查询数据资产信息。管理者可定期统计元数据完整性,追踪元数据维护进展,可根据多种维度如数据源、责任人定期进行统计,及时发现问题,督促责任人完善元数据信息。
同时,通过平台提供的数据标准管理能力,可规范数据资产的字段级标准信息。通过词根管理及标准管理,定义数据表中字段的标准信息,例如字段名称、字段中文名、字段类型、字段长度等信息。
元数据分析
在完成了元数据采集和元数据管理后,可根据元数据的信息进行分析,平台提供针对元数据的完整度分析、质量分析、血缘分析,全方位对企业内部的资产信息进行分析整合,便于企业有效管理数据资产。
完整度分析:统计完整度百分比,支持从多维度包括平台级、数据源类型级、数据源级、数据库级、负责人级、具体属性级分别进行统计分析。比如,在按照负责人维度进行统计分析时,可充分利用统计结果来推动和监督数据开发人员及时、完整地维护元数据信息。
质量分析:平台提供质量校验能力,可提供多种质量监控场景,针对单表校验、多表比对内置了丰富的校验函数,满足企业对数据的及时性、完整性、一致性、有效性、准确性进行多维度校验的要求。通过事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据进行多维度评估,保障企业数据质量。
血缘分析:通过血缘分析能力,企业可及时发现一些肯定存在血缘关系,但是血缘关系缺失的表,如数仓下游层级的表、BI报表等。企业可设置需要监控血缘关系的数据库信息,平台会根据血缘 SQL 解析的结果,统计库中血缘孤立的表,辅助企业监控数据资产质量,优化资产存储空间。
资产盘点及展示
平台提供数据地图功能,汇总企业的所有资产化数据,包含数据库表、开发任务、指标、标签、API 等多种类型的数据资产,为用户提供一个统一、完整、便捷的元数据查询门户。支持多种搜索模式、过滤条件,快速定位元数据,可同时根据查询结果,不断发现元数据缺失情况,反哺推进元数据的维护工作。
同时,平台还提供资产大盘,企业可通过资产大盘分析整体资产的变化趋势、分布情况、价值排行、存储占比等信息,全面了解数据资产的整体情况。为管理层提供资产可视化入口,辅助管理层制定建设方向决策。
数据安全管控
数据资产化的管理离不开数据安全管控,袋鼠云「数据资产管理平台」支持对数据进行脱敏规则管理、数据权限管理及数据分级分类。对于一些敏感数据,例如手机号、身份证号等私密信息,可自定义配置脱敏规则进行脱敏展示。平台支持行列级别的权限配置,可根据数据分级分类与用户等级挂钩来控制用户权限范围,实现数据权限的细粒度管控。
总结
数据资产化能够显著提升企业的数据管理效能,充分挖掘和实现数据的应用价值。通过这一过程,企业能够系统地对数据进行分类、存储、检索,实现数据的统一汇聚,而不是分散在各个系统、各个文件中。
同时,数据资产化带来的统一管理模式在强化数据安全性方面发挥着关键作用。企业可通过对数据进行脱敏加密和密级权限控制,确保只有授权人员才可访问、修改数据,从而在最大程度上保障数据的安全性和隐私性,为企业在合规前提下充分利用数据资产奠定基础。
数据是一切的起点,企业应高度注重数据资产化的推进工作,加强数据管理能力,充分利用数据资产推动企业的可持续发展。
有数据资产需求的用户可以直达数据资产平台,了解更详细产品介绍:
https://www.dtstack.com/dtinsight/dataassets
《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=bbs
《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001/?src=bbs
《数栈V6.0产品白皮书》下载地址:https://www.dtstack.com/resources/1004/?src=bbs
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStac