基础设施是大数据技术发挥作用价值的关键平台。大数据基础设施从“十三五”初期发展到现在,从概念范畴来看,最大的特点是不仅以数据中心为唯一焦点,其内涵逐渐向数据要素主要生命周期延伸,包括数据存储计算、治理管理、流通交易等方面。围绕数据管理治理,各行业大数据管理平台已释放卓著能效,是数据管理治理环节的重要发力者。围绕数据流通交易,数据共享交换平台、数据开放平台以及数据交易平台是数据流通市场化的重要承载体。
#1
大数据管理治理基础设施
数据资源质量是大数据管理治理的核心,只有夯实数据管理之基,才能提升数据资源质量,支撑上层的数据流转与应用,充分发挥数据资源的价值。近两年,大数据管理治理概念正逐步从机构内部向外延伸,从只服务于机构内部的平台解决方案,向可提供集团内公共服务的基础设施转变。
从本质来看,大数据管理治理基础设施是数据全生命周期管理应用平台,通过对数据从产生到消亡的全过程进行管理治理,为平台主体保证了业务数据在采集、预处理、存储、计算整个过程中的完整性、准确性、一致性和时效性,从而帮助平台主体建立起符合自身特征的数据架构和数据治理体系。大数据管理治理基础设施为主体建立统一的数据标准、优化整体数据架构、健全数据模型,从而提升数据管理治理的规范性。
从形态来看,大数据管理治理基础设施可分为两类,一类是企业级大数据管理平台,用于服务内部多个子单位、子系统间的数据管理,是集团或机构业务运营的核心基础设施;另一类是政府大数据公共服务平台,用于服务各级政府部门的数据管理,是政务大数据资源实现共享开放的核心基础设施。
金融、电信、互联网行业主体的数据管理能力要普遍优于其他行业,其优势主要体现在业务与数据强耦合以及具备扎实的大数据技术基础。金融领域庞大的系统内积累了大量高价值的数据,拥有用于数据分析的基础资源,金融领域是大数据技术应用落地最早、也是最成熟的领域之一,当前超过85%的中小银行将数据治理纳入公司治理范畴,近70%的金融机已构建立了统一的大数据分析平台。
各级政府大数据平台正不断实施数据质量提升工程,以期解决数据服务接口不统一、数据完整性较差、缺少实时数据服务等现状问题。海南省政务大数据公共服务平台已完成元数据管理系统、数据质量管理系统、数据标准管理系统、数据分析系统、共享体系等系统的完善升级,构建了数据指标管理系统与标签管理系统,并实现了317个政务系统、43037张表、77万个信息项、48亿条记录数的归集。青岛市公共数据服务平台构建了多元数据流通平台、供需精准对接平台、融合创新应用平台、安全精细管控平台,整理形成数据需求清单、数据供给清单、数据应用场景需求清单、数据应用场景供给清单“四张清单”,具有数据资源、数据服务、数据应用、需求大厅、数字实验室五大功能模块。
#2
大数据流通交易基础设施
数据流通性是大数据资源价值的核心体现,开展数据流通交易探索,实现数据要素市场化,是盘活数据资源的必选路径。围绕数据流通交易,数据共享交换平台、数据开放平台以及数据交易平台是数据流通市场化的重要承载体。近年来,我国大数据流通交易基础设施建设稳步推进,但突破性不足,亟需在十四五初期开展变革性尝试。
国家政策大力引导政府数据共享流通,取得初步成效。2016年9月发布的《国务院关于印发政务信息资源共享管理暂行办法的通知》要求,各部门业务信息系统应尽快与国家数据共享交换平台对接。2017年,《国务院办公厅关于印发政务信息系统整合共享实施方案的通知》等政策陆续出台,进一步明确了数据共享要求。截至2021年5月,国家数据共享交换平台上线目录超过65万条,发布共享接口1200余个,累计提供数据查询/核验服务超过37亿次。青岛市非常重视公共数据的开放运营,已发布实施《青岛市公共数据运营试点突破攻坚方案》,以公共数据运营为突破口,推进6大工程、28项具体任务,重点聚焦金融、商贸、海洋、工业、交通、医疗、文旅、航贸金、社会9个领域。目前已开放教育科技、卫生健康等19个领域8000余项共7亿条数据,数据来源包含市区两级政府部门及部分企业,近三年,数据开放量增长了10倍,为公共数据开放赋能奠定了坚实的基础。
数据共享应用在民生方面稳步发展,商业市场需要开发。在数据开发利用上,目前被利用的数据集主要来自交通、医疗、人力资源与社会保障等方面。特别在交通方面的应用,成为国内数据开放和应用最重要的领域,其的商业和社会价值非常高。在其他行业数据共享平台建设依然缓慢,其根本原因在于企业选择数据服务时根据成本选择不同的存储系统、管理系统和计算资源,同时各行业对于开放什么数据、由谁负责这些数据、数据资产如何转化等方面尚未形成统一的标准。
数据交易平台多地建立,行业处于初级探索阶段。健全数据要素市场,法律、制度、技术之外,还需要完备的数据交易基础设施作为支撑。据不完全统计,截至2022年11月,全国由地方政府发起、主导或批复的数据交易所已有42家。贵阳大数据交易所、中关村数海大数据交易平台等已形成确定的运营模式,率先探索大数据交易市场化。目前各类交易平台主要以大企业入驻为主,实际上中小企业的数据行业细分影响很重要,缺乏国家级数据平台统筹。此外,交易平台方面尚未形成多级联动体系,制约数据交易规模和效率进一步提升,数据重复存储、结构多元现象广泛存在。
免责声明:
本文转载自一个数据人自留地,版权归原作者所有,如若侵权请联系我们进行删除!
袋鼠云在大数据领域深耕7年,拥有丰富的大数据平台建设经验和成熟的产品体系,想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack