博客 数据质量管理背后的技术以及支持它的5个支柱

数据质量管理背后的技术以及支持它的5个支柱

   数栈君   发表于 2023-05-19 10:27  578  0

既然了解了高质量数据的重要性并希望采取行动来巩固数据基础,那么让我们来看看数据质量管理背后的技术以及支持它的5个支柱。

1–人

技术的效率取决于实施它的个人。我们可能在技术先进的商业社会中运作,但人类监督和流程实施尚未过时。因此,有几个数据质量管理角色需要填补,包括:
数据质量管理项目经理:项目经理的角色应由一名高层领导担任,该领导接受对商业智能计划的一般监督责任。他还应监督涉及数据范围、项目预算和计划实施的日常活动的管理。项目经理应该领导数据质量和投资回报的愿景。
组织变革经理:他通过提供对高级数据技术解决方案的清晰和洞察力来协助组织。由于使用仪表板软件通常会突出质量问题,因此变更经理在数据质量的可视化中起着重要作用。
业务/数据分析师:此人从组织的角度定义质量需求。然后将这些需求量化为用于获取和交付的数据模型。这个人或一组人确保将数据质量背后的理论传达给开发团队。

2–数据分析

数据分析是数据质量管理生命周期中的一个基本过程。它涉及:
详细审查数据
将数据与元数据进行比较和对比
运行统计模型
报告数据质量
此过程的目的是深入了解现有数据,并将其与质量目标进行比较。帮助企业在数据质量管理流程中建立一个起点,并为如何提高其信息质量设定标准。完整和准确数据的数据质量指标对于这一步至关重要。准确的数据是寻找不成比例的数字,完整的数据是定义数据体并确保所有数据点都是完整的。

3–定义数据质量

数据质量管理的第三个支柱是质量本身。应根据业务目标和要求创建和定义“质量规则”。这些是数据必须遵守的业务/技术规则才能被认为是可行的。
业务需求可能会在这一支柱中占据首位,因为关键数据元素应取决于业务。质量规则的制定对于任何数据质量管理流程的成功都至关重要,因为这些规则将检测并防止受损数据感染整个数据集的健康状况。
就像抗体检测和纠正我们体内的病毒一样,数据质量规则将纠正有价值数据之间的不一致。当与BI工具结合使用时,这些规则可以成为预测趋势和报告分析的关键。

4–数据报告

数据质量管理报告是删除和记录所有受损数据的过程。这应该被设计为遵循数据规则执行的自然过程。一旦识别和捕获异常,就应该将它们汇总,以便识别质量模式。
应根据特定特征(例如,按规则、按日期、按来源等)对捕获的数据点进行建模和定义。统计完这些数据后,可以将其连接到在线报告软件,以报告质量状态和仪表板中存在的异常情况。如果可能,还应实施自动化和“按需”技术解决方案,以便实时显示仪表板洞察力。
报告和监控是数据质量管理投资回报率的关键,因为它们可以实时查看任何时候的数据状态。通过识别数据异常的位置,数据专家团队可以制定补救流程的策略。

5–数据修复

数据修复是确定的两步过程:
修复数据的最佳方法
实施变更的最佳方式
数据修复最重要的方面是执行“根本原因”检查,以确定数据缺陷产生的原因、位置和方式。一旦实施了这项检查,就应该开始整治计划。
依赖于先前有缺陷的数据的数据流程可能需要重新启动,尤其是当它们的功能面临风险或受到缺陷数据的影响时。这些流程可能包括报告、活动或财务文件。
这也是应该再次审查数据质量规则的地方。审查过程将有助于确定规则是否需要调整或更新,并将有助于开始数据演化过程。一旦数据被认为是高质量的,关键的业务流程和功能就应该更高效、更准确地运行,从而获得更高的投资回报率和更低的成本。

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群