在企业推进数字化建设的过程中,如何将自身业务产生的数据资产化是一项重要任务,数据资产的质量也决定了其应用效果,而数据资产化有赖于高效的数据质量管理工作,如建立数据管理标准、数据接入方式、数据质量核查评估体系等。在企业发展过程中,随着各种信息系统的逐步上线,数据采集方式越来越多,从而产生了包含业务数据,行为数据,系统日志数据,IOT数据等,数据类型涵盖结构化数据,半结构化数据,非结构化数据等来源不一、形式不一、标准不一的复杂数据。
在企业试图将这些数据进行标准化处理,形成数据资产,使用数据,挖掘数据价值,实现数据业务化的过程中,常常面临各种痛点和难点,主要体现在:
1.数据孤岛严重:烟囱式的应用开发模式,导致数据分散在不同的业务系统中,数据割裂严重,无法有效整合打通,很难做统一的统计与分析,难以发挥全域数据的价值。
2.重复开发:缺少数据沉淀、数据共享机制,当有新的数据需求时,重复开发导致人力资源、计算资源浪费严重。
3.数据管理困难:数据没有统一的标准和定义,分散在不同的存储上,没有统一的数据入口,元数据维护、在线化管理困难。
4.技术门槛高:数据采集、离线处理、实时处理、数据挖掘等需要用到不同的技术和组件,并且技术更新快,组件版本升级频繁,熟练掌握这些技术,需要花费大量的精力。
5.需求响应慢:为了满足不同业务方的数据需求,需要从多个业务系统中进行数据采集,再做复杂的转换加工,缺乏工具和平台方面的支撑,疲于应付临时性提数分析需求,无暇顾及平台级建设和数据治理,恶性循环。