博客 数据治理过程中如何建立数据标准?

数据治理过程中如何建立数据标准?

   数栈君   发表于 2023-02-09 17:46  1236  0

数据标准可以被理解为一种各系统、各部门间用于沟通的共同语言。信通院发布的《数据标准管理实践白皮书》对其的定义是:数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。“数据标准”并非是一个专有名词,而是一系列“规范性约束”的抽象。

数据标准不仅仅只是描述了一些需要大家去遵守的规范和要求的文档,而是一套由管理规范、管控流程、技术工具共同组成的体系。企业需要通过这一整套体系来确保各种重要信息,例如产品、客户、机构、账户等在全公司内外的使用和交换都是一致、准确的,从而实现企业的信息标准化。

数据标准建立的过程,就是在全企业层面建立关于数据的一致性的过程。要做到这一点,我们就得首先明确,这个标准由谁来牵头制定?

不同的企业根据其实际情况,可能会有不同的实践,也可能会出现不同的问题。比如由职能部门牵头制定的标准,可能会只关注到自身领域的数据标准化需求,难以做全做深整个企业层面的数据标准,而信息部门牵头制定的数据标准,可能会由于过于专业或者技术,导致业务层面的使用不便……

所以数据标准的制定并不是某些部门的单打独斗,而是需要一个完善的管理机制,这个管理机制中的角色大致可分为三类:

1.数据标准决策层

数据标准决策层是企业数据标准管理的最高决策组织,主要职责是组织制定和批准数据标准规划、审核和批准拟正式发布的数据标准、协调业务和IT资源,解决在数据分类规划、体系建设、评审发布、执行落地中的全局性、方向性问题,推进企业整体开展数据标准化工作。


2.数据标准管理层
数据标准管理层是企业数据标准管理的组织协调部门,主要职责是根据业务需求,组织业务和IT部门,开展数据标准落地工作组织业务部门和IT部门参与数据标准管理相关工作,并推进数据管理工作的进程,同时及时将数据标准管理过程中的成果或问题报决策层审批。


3.数据标准执行层

数据标准执行层是指具体开展数据标准编制和体系建设的数据标准管理部门,通常由数据标准管理专家、相关业务和IT专家组成,主要职责是解决编制数据标准、推进数据标准落地工作中的各类具体业务问题和技术问题。


在整体的数据治理工作中,无论牵头部门是职能部门、信息技术部门、业务部门还是独立的数据管理部门,数据标准的制定过程,都离不开业务部门与技术部门的共同探讨、共同商榷,只有建立起这样一个管理机制,明确各个部分的责任划分,才能让数据标准不成为一纸空文,真正地做到可落地执行。

数据标准的制定可以分为规划、编制和发布这3步来进行。

1.规划

数据标准的规划过程主要包括以下三个阶段:

(1)数据标准调研

数据标准调研工作,主要从企业业务运行和管理层面、国家和行业相关数据标准规定层面、信息和业务系统数据现状三个方面开展,调研内容包括现有的数据业务含义、数据标准分类、数据元定义、数据项属性规则以及相关国际标准、国家标准、地方标准和行业数据标准等。

就拿工业行业来说,就有如下标准可参考:


(2)企业数据盘点

基于企业业务架构,从满足企业经营管理、数据分析、数据共享、数据集成等需求入手,对企业各个系统的数据资源进行盘点。

通过梳理数据现状,厘清业务开展过程中业务流、单据流以及数据流,明确数据资产分布,数据的质量情况、数据集成情况、数据管理情况等问题;明确各基础数据和指标数据的业务含义、数据口径、适用场景、数据来源、数据关系等信息。

(3)明确数据标准框架

根据数据标准调研结果以及行业的最佳实践,在对企业现有业务和数据现状进行分析的基础上,定义企业自身的数据标准体系框架和分类。

2.编制

数据标准的编制主要指数据元及其属性的确定,包括分析数据标准现状、确定数据元及其属性两个关键环节:

(1)分析数据标准现状

企业应依据业务调研和信息系统调研结果,并分析、诊断、归纳数据标准现状和问题。其中,业务调研主要采用对业务管理办法、业务流程、业务规划的研究和梳理,以了解数据标准在业务方面的作用和存在的问题;系统调研主要采用对各系统数据库字典、数据规范的现状调查,厘清实际生产中数据的定义方式和对业务流程、业务协同的作用和影响。

(2)确定数据元及其属性

数据标准的具体形态通常是一个或多个数据元的集合,即数据元是数据标准的基本单元。

企业可以依据行业相关规定或借鉴同行业实践,结合企业自身在数据资产管理方面的规定,在数据标准体系框架下,明确相应的数据元,并针对每个业务主题所涉及的数据进行建模,定义每个数据实体的业务属性、技术属性和管理属性。

这个过程如果现行的数据标准存在能够满足要求的数据元子集、代码表,则可以直接采用。如果没有就需要从业务属性、技术属性和管理属性三个方面定义新的数据标准:

①业务属性:定义数据与企业业务相关联的特性和用途,统一业务描述和理解,包括:命名规则、编码规则、业务定义、业务规则、值集、维度、粒度等。②技术属性:定义数据与IT技术实现相关联的特性,对IT实施形成必要的指引和约束,包括:字段名称、数据类型、数据格式、数据长度、度量单位、枚举值的限定等。③管理属性:定义数据标准在管理和使用方面各部门承担的责任,对数据归属进行确权认知,明确数据所属部门、数据管理部门、数据使用部门、标准发布日期等管理属性做出规范。

数据标准建设工作量大,我们可以选用一套完善、易用的数据标准管理工具帮助我们将数据标准建设工作落地。亿信华辰数据标准管理平台ESDataStandard提供了一套完整的数据标准管理流程及办法,平台内置标准的技术、业务、管理、质量属性,结合灵活的定义方式,从手工创建、导入、拾取、智能识别等,可帮助客户快速构建基础标准、指标标准、代码标准,同时内置的一批国标、行标,可大大提高项目交付效率。

3.发布

为了保证标准的可用性以及易用性,数据标准编制完成后的发布环节也非常关键。这个发布环节主要是需要在初版标准的基础上,征询相关部门的意见,减小数据标准不可用、难落地的风险。在完成意见分析和标准修订后,再在公司范围内正式发布。

数据标准一经发布,各部门、各系统应按数据标准要求执行,如果需要对发布后的数据标准进行修改,需要走正式的数据标准变更流程。

前面我们提到,数据标准并不是某个单一部门的事情,它需要组织内部达成全局性的共识,以及各部门之间的深度配合。

所以,在数据标准的建设与执行过程中,都应加强对相关人员的宣贯与培训工作,以便全组织就数据标准达成共识,并应用于实践。

数据标准落地执行一般包括四个阶段:评估确定落地范围、制定落地方案、推动方案执行、跟踪评估成效。

1.确定落地范围

首先我们要选择某一要点作为数据标准落地的目标,如业务的维护流程、客户信息采集规范、某个系统的建设等。

数据标准覆盖范围的选择我们可以从以下三个方面来考虑:①组织范围:数据标准适用的组织范围,部门级、公司级,集团级还是行业级。②业务应用范围:即数据标准都哪些业务部门会使用,例如,一个“客户”数据标准,就会被市场、销售、生产、采购、仓储、物流、售后等多个部门使用。③落地系统范围:即该标准需要在哪些系统中贯彻执行,例如:“客户”数据标准,落地系统范围可能包括ERP、CRM、WMS等。

2.制定落地方案

深入分析数据标准要求与现状的实际差异,以及落标的潜在影响和收益,并确定执行方案和计划。

3.推动方案执行

数据标准执行涉及到新建系统和现有运行系统的贯标。原则上,新建信息系统必须严格按照发布的数据标准执行;对于现有在运行的系统,应按照数据标准要求进行整改或建立映射关系,以满足公司数据统一的要求。

4.跟踪评估成效

综合评价数据标准落地的实施成效,跟踪监督标准落地流程执行情况,收集标准修订需求。

业务不断发展,国标行标、监管要求可能发生变化,部分标准可能在实践中表现不佳……

袋鼠云在大数据领域深耕7年,拥有丰富的大数据平台建设经验和成熟的产品体系,想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群