于企业而言,数据标准是对数据的命名、数据类型、长度、业务含义、业务规则,计算口径、归属部门等,定义一套统一的标准规范,以此来保证各业务系统对数据的统一理解、规范、对数据定义和使用的一致性。
数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现平台数据的完整性、有效性、一致性、规范性,推动数据的共享开放,构建统一的数据治理清单,为数据治理活动提供参考依据。
结构化的数据标准主要是针对结构化的数据来制定的标准,一般包括:数据类型、长度、定义、值域,数据格式等,非结构化数据标准是针对非结构化的数据来制定的标准一般包括:文件名称、文件大小,格式、分辨率等,此类信息均称为技术属性。
业务属性标准是指为实现业务沟通而制定的标准,通常包括:业务定义和管理部门,业务主题等
管理属性一般包括数据定义者、数据管理者等。
但国内企业大多数系统的建设都是直接依据业务需求建立,并没有一个整体的规划,另外不同系统的建设厂商可能也不一样,所以不同系统之间数据的不一致性难以避免,究其根源,还是没有一套统一的数据标准来进行约束。
企业在对数据的使用过程中,出现的很多数据问题,都是由于缺乏标准约束和整体规划设计造成的,如下:
数据存储结构不一致,调用多系统的数据时,由于某些数据在不同系统中数据存储结构不同,导致数据无法直接关联,影响不同系统之间的数据共享;
数据定义不一致,不同系统对数据的命名、业务含义、取值范围等定义不同,比如同名不同义、同义不同名等;
数据理解不一致,不同人员对数据的理解不一致,导致在数据使用时浪费很多沟通时间;
数据来源不一致,数据存在多个来源,在数据使用时,不清楚应该取哪个系统的数据。
通过评估已有系统标准建设情况,可及时发现现有系统标准问题,支撑系统改造,减少数据转换,促进系统集成,提高数据质量。数据标准可作为新建系统参考依据,为企业系统建设整体规划设计打好基础,减少系统建设工作量,保障新建系统完全符合标准。
同时,数据标准建设也为企业各类人员提供相应的支撑:对业务人员而言,数据标准建设可提升业务规范性,保障人员对数据业务含义理解一致,支撑业务数据分析挖掘以及信息共享;对技术人员而言,有数据标准作为支撑,可提升系统实施工作效率,保障系统建设符合规范,同时降低出错几率,提升数据质量;对管理人员而言,数据标准建设可提供更加完整、准确的数据,更好的支撑经营决策、精细化管理。
首先数据标准建设前提需要有设立相应的数据标准管理组织,负责数据标准的统一管理、数据标准的制定、维护、应用和监督等工作。数据标准管理组织建议包括:数据标准决策层、数据标准管理部门和数据标准工作执行组。
其次数据标准管理工作的实施展开也需要一系列的数据标准管理规范制度,其中包括:数据标准规范制度、数据标准管理办法制度、数据标准管理工作执行制定等等。
有了相应的数据标准管理组织和规范制度作为保障,即可推动数据管理的实施工作。数据标准建设的实施步骤如下:
在实际情况的基础之上,参考业界经验,收集调研国家标准、现行标准、新系统需求标准以及行业通行标准等,梳理出企业内部数据标准建设的整体范围,定义数据标准体系框架和分类,并制定数据标准的实施计划。
依据数据标准体系框架和分类原则,依次制定各分类的数据标准模板,然后由相关管理部门依据相关国标、行标、或者企业内部的技术业务需求等调研结果,进行数据标准的编制,形成企业内数据标准初稿。
标准梳理编制完成后,通过对数据标准进行评审来保证数据标准的完整、规范,在充分征求专家意见以及各相关组织部门意见后,对数据标准进行修订和完善。完善后的数据标准经过有关管理部门的审批通过后,即可发布形成正式的数据标准。
确定数据标准落地策略和落地范围,并制定相应的落地实施方案,以此来推动数据标准落地方案的执行,并对标准落地情况进行跟踪并评估成效。
数据标准在实际的场景中会随着业务的发展变化、行标国标的变化、以及监管政策的变化需要不断迭代和完善。在数据标准维护流程阶段,需要对标准变更迭代建立相应的管理流程,同时做好数据标准的版本管理。
另外数据标准建设过程中,还有几个关键点,需要重点关注以下几点:
首先,不是所有的数据都需要建立数据标准,在企业的实际业务数据模型中成千上万个字段属性,有些数据模型因为业务变化需经常更换调整。如果把这些业务过程信息全部纳入到标准的建设体系中,反而会加大建设标准体系的难度,比较难以实现落地。因此我们需要对核心数据建立标准并实施落地,定期执行贯标落标,既可达到预期效果,与此同时也提升了数据治理的工作效率。
数据标准落地的实施工作中,可想而知会遇到很多困难,如某些历史的业务系统因特殊业务无法进行改造或者改造成本投入过大,因此导致无法落标。面对此类情况需要我们针对不同的业务系统,建立不同的落标实施策略。
• 对于建设系统,可以采用强制落标的方法,即建设系统必须符合统一数据标准,在新系统上线前期对其进行数据标准落地评估,如评估结果与标准规范不一致或出入较大造成不合格,则需要规范其按照统一规范标准来整改优化。
• 对于已有的历史系统,采用建议落标的策略,首先将已有系统的标准问题找出来,并进行分析和整理,综合多方面考虑,包括工作量、整改风险、周期、成本等等,制定最有效的落标策略,比如等到以后系统升级改造时再落标,通过逻辑转换方式落标,通过数据仓库落标等等。
数据标准建设工作量以及范围比价大而广,想完全依靠人力来实现不太现实,所以需要依托于一套完善、易用的数据标准管理产品工具作为载体来帮助我们将数据标准建设工作有条不紊的落地。
数据标准管理功能包括:标准的分类管理、标准的增删改查、标准的批量导入导出、标准的评审、标准的发布、标准版本的管理、标准落地映射管理、标准落地评估报告、标准的变化监控等功能。为更好的保障数据标准的落地,可以结合元数据管理功能一起使用。
免责申明:
本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack