在新发布的“中国数据分析和人工智能技术成熟度曲线图”中,Gartner 认为,“数据中台(Data Middle Office)”即将消亡,取而代之的是“数智基建”(Data Infrastructure)。
在上图中,数据中台处于幻灭的深渊(Trough of Disillusionment);而数智基建则处于技术萌芽期(Innovation Trigger)。
01 数据中台发展历程
数据中台最早于 2015 年年底被阿里巴巴首次提出,数据中台的核心任务就是建设全域大数据,解决跨业务线数据拉通、避免数据烟囱式开发及重复建设。
数据中台的主要目的:解决企业在发展过程中,由于数据激增与业务的扩大而出现的统计口径不一致、重复开发、指标开发需求响应慢、数据质量低、数据成本高等问题。通过一系列数据工具(元数据中心、数据指标中心、数仓模型中心、数据资产中心-资产质量/治理/安全、数据服务中心等),规范数据供应链的各个环节。
数据中台特点:以一种标准的、安全的、可靠的、统一的、共享的、解耦的、服务化的方式支持前端数据的应用。
3. 数据中台作用
阿里数据中台逻辑架构图
数据中台产品能力图
数据中台通过对企业内外部多源异构的数据采集、建设、管理、分析和应用,使数据对内优化管理提高业务价值,对外进行数据合作让业务价值得到释放,使之成为企业数据资产管理中枢。数据中台建立后,会形成数据API服务,为企业和客户提供高效各种数据服务。
数据中台对一个企业的数字化转型和可持续发展起着至关重要的作用。数据中台为解耦而生,企业建设数据中台的最大意义就是应用与数据之间的解耦,这样企业就可以不受限制地按需构建满足业务需求的数据应用。
构建了开放、灵活、可扩展的企业级统一数据管理和分析平台, 将企业内、外部数据随需关联,打破了数据的系统界限。
利用大数据智能分析、数据可视化等技术,实现了数据共享、日常报表自动生成、快速和智能分析,满足企业各级部门之间的数据分析应用需求。
深度挖掘数据价值,助力企业数字化转型落地。实现了数据的目录、模型、标准、认责、安全、可视化、共享等管理,实现数据集中存储、处理、分类与管理,建立大数据分析工具库、算法服务库,实现报表生成自动化、数据分析敏捷化、数据挖掘可视化,实现数据质量评估、落地管理流程。
数据中台是过去几年比较火热,不过现在它慢慢地退出了讨论的中心,Gartner 称当前为“后数据中台时代”。
根据 2022 年 6 月 Gartner 的调研显示:
所以 Gartner 在 2023 年数据分析与人工智能技术成熟度曲线里面,“数据中台”落入泡沫低谷期,并且不能够在未来像已经成熟的,数据仓库、数据湖、数据虚拟化这样概念一样形成标准化的行业的共识,取得普适意义上的成功。
数据中台没有达到预期的广泛成功,主要是因为价值主张过于宽泛、与业务脱节和单纯交付技术。
数据中台最火热的时候,整个经济环境处在上升状态,现在经济下行的情况下,Gartner 发现“预算”和“资源”的限制,是当今数据分析团队成功的紧迫的挑战,所以企业也不愿意投入更多资金去建设一个端到端的中台项目。
02 什么是数智基建?
Gartner 将“数智基建”定义为一种聚焦于数据、分析和AI生态建设的全新部署模式,通过使用已经建立了密切合作的供应商产品组合,构建全面的数据分析和人工智能解决方案和服务体系。
而作为该生态的核心组成部分,“数智基建”提供包括分析型数据库、数据集成、元数据管理、数据质量,以及数据虚拟化等在内的技术能力,作为数据分析和 AI 应用可复用的底座。
Gartner 高级研究总监顾星宇表示,其中的重点是,“数智基建”依托于不同供应商之间的相互密切合作,而不是依靠单一供应商端到端的开发交付。
也就是说,“数智基建”更注重生态合作,基于此,不仅能够让不同企业发挥所长,也可以为客户提供一个可组装的、敏捷的、具有鲁棒性和持续运维能力的数据分析和AI平台。
“当未来技术出现新变化时,选择传统部署方式的企业很难进行相应的调整和改进。
这就要求,以一种新的生态合作方式交付到客户手中的数据分析平台,不是一次性交付后就能永久有效的商品,需要进行持续迭代、交付,以及对使用方式和相关技术能力进行实时更新。”顾星宇进一步说道。
03 如何更好的发展数智基建?
让企业从熟悉的数据中台建设中抽离出来转向“数智基建”,企业不免会对“数智基建”的先进性体现在哪里,又该如何部署等问题,产生诸多疑惑。
Gartner认为,数智基建依赖于多个密切合作的供应商组合,而非单一供应商。
数智基建不仅提供多个关键技术能力,同时也与其他专业领域的供应商建立生态合作,共同提供一个可组装、敏捷且具有鲁棒性的数据分析和AI平台,并确保其可持续性和持续运维能力。
Gartner预测,到2028年,50%构建于2023年之前的中国数据和分析(D&A)平台,将因为与生态系统脱钩而过时。
“与生态系统脱钩”是指,并没有参与到那些以生态合作为基础所进行的平台建设中,而是选择依靠单一厂商进行大量二次开发的传统路线。
关于生态合作的方向,顾星宇表示,未来“数智基建”领域将存在三个方面的生态合作:
一是“数智基建”厂商和云厂商的生态合作;
二是“数智基建”厂商和数据分析服务厂商(如系统集成商、咨询公司)集成的生态合作;
三是“数智基建”厂商和人工智能厂商的生态合作。
对此,Gartner将数据、分析和人工智能市场格局定义为一个大市场,在这一市场下又分为“数智基建”、分析和AI、D&A服务三个细分市场。
“基于这样一个大市场以及三个主要合作方向,未来会推动更多厂商间的合作,包括生态合作签约、联合研发投资,甚至收并购等。”顾星宇说道。
为了更加聚焦企业的核心诉求,加速厂商间合作的快速落地,Gartner通过市场调研,发布了影响中国“数智基建”市场的三大重要趋势:
一是多云及跨云的数据管理满足企业多样化需求。
顾星宇表示,相对来看,中国企业比世界其他地区的企业所面临的云环境更为复杂。在这种情况下,中国的“数智基建”供应商应加快与多个云供应商之间建立生态合作关系,让全新的D&A平台具备多云及跨云的数据管理能力,帮助客户提高跨云数据管理的效率和合规性,并降低实施成本。
二是部署方式的灵活性和便捷性让企业快速享受技术“红利”。
Gartner调研显示,2023年中国企业越来越担心他们的D&A厂商无法持续维持和改进日益复杂的“数智基建”技术。为了避免这一问题的产生,应该摒弃依靠单一厂商进行大量二次开发的传统路线。
顾星宇表示,在继续创新数据库、数据集成和数据治理等核心技术的同时,中国“数智基建”供应商已开始与行业SaaS供应商或服务商合作,将其技术嵌入合作伙伴的行业解决方案中。这种合作模式有助于以更灵活敏捷的方式将硬核技术与业务场景相结合,使得客户能够利用“数智基建”供应商的技术能力,快速实现技术部署,从而极大缩短D&A投资的价值实现时间。
三是使用AI就绪型数据支持生成式人工智能(GenAI)应用。
Gartner调研显示,重要或隐私数据泄露、知识产权侵犯和幻觉是中国企业对GenAI应用主要担忧的问题。对此,Gartner认为,解决这些问题的关键在于能否提供AI就绪型数据,并将其与企业内部数据以优质方式结合进行部署落地。
04 小结
要疯了,数据中台还没玩明白呢,这又搞数智基建。
其实,抛开 Gartner 报告中数智基建的概念,每个企业在做数字化转型的过程中,都会建设一个统一的数据基础平台,作为上层数据应用的统一支撑。而目前,最通用的叫法就是“数据中台”。
数据中台会不会消亡还远没有到定论的时候,不过, Gartner 提到的一个点我还是比较认同的:未来企业在选择供应商时,会更倾向于选择多个供应商,而非统一采购某一家的工具,让不同企业发挥所长,为客户提供一个可组装的、敏捷的、具有鲁棒性和持续运维能力的数据分析和AI平台。
内容为转载,如侵删