多模态数据底座怎么用？数栈7.0六大能力全解析

在前两周的分享中，已经分别从两个关键视角展开：

• AI时代企业为什么必须构建多模态数据底座
• 多模态数据底座应该如何设计与建设

而今天，本文想进一步回答一个更“落地”的问题——当底座建好之后，如何真正把多模态数据用起来，让AI与业务应用释放更大价值？

围绕这个问题，本次分享将从五个部分展开：数栈7.0的大版本升级、整体产品架构与六大核心能力、结合案例的功能实操演示，以及我们未来的重点投入方向。

从“数据平台”到“数据底座”：数栈7.0的定位升级

在数栈1.0到6.0阶段，产品的核心定位是大数据开发与治理平台，主要服务于结构化数据场景，围绕数据采集、存储、开发、治理与应用，支撑企业完成数仓建设、数据分析以及数据服务能力。

但随着AI应用逐步深入业务，企业面对的数据形态早已发生根本变化。结构化数据不再是全部，图片、文档、音视频等非结构化数据，以及日志、JSON等半结构化数据，正在成为更重要的数据来源。

因此，从7.0版本开始，数栈完成了一次关键跃迁——从“结构化数据平台”升级为多模态数据底座。

这一升级的核心在于：不仅支持结构化数据，还将半结构化与非结构化数据统一纳入体系，打通“采、存、管、用”的全链路能力，从而支撑：

• 多模态高质量数据集建设
• 大模型训练与推理数据供给
• 知识问答、智能分析等AI应用场景

最终目标，是让数据不只是被存储和分析，而是成为AI时代真正的生产资料。

整体架构升级：构建多模态数据的全链路体系

数栈 7.0 的产品架构自左向右构建了一套完整的多模态数据处理与应用体系，核心可分为以下几个部分：

1. 数据接入层 在原有结构化数据接入能力基础上，进一步扩展支持多模态数据类型，包括 JSON、日志等半结构化数据，以及图片、音视频、文档等非结构化数据。所有多模态数据均可通过数据集成工具“淳盾”进行统一接入与整合。

2. 存储与算力底座 数据采集后，底层支持多种存储体系，包括原有的 HDFS、MPP 存储，以及兼容 S3 协议的 MinIo 和其他对象存储底座，为多模态数据提供统一的存储承载能力。

3. 模型能力层 平台对接 Deepseek、通义千问等主流大模型，为非结构化数据的解析、加工与计算提供能力支撑，提升数据理解与处理效率。

4. 元数据管理层 基础元数据统一存储在 MySQL 中；非结构化数据在解析后的全文数据及向量化数据（Embedding）存储于 ES（Elasticsearch），从而支撑后续的数据检索与资产管理。

5. 资源调度与管理层 在资源管理方面，不仅支持 CPU 和内存资源管理，还扩展支持 GPU 资源管理；在调度方式上，除传统 Hadoop 体系调度外，还支持 Kubernetes（K8S）调度，实现更加灵活的资源分配与管理。

6. 计算引擎层 在原有计算能力基础上，新增支持 Ray 计算框架，以 Python 方式提供计算支撑，更好地满足非结构化数据处理与 AI 计算需求。

7. 数据开发层 除传统结构化数据开发方式外，进一步集成非结构化数据开发能力，涵盖数据清洗、过滤、聚合，文档分段与去重，图片 OCR 识别，视频关键帧提取等处理方式。通过内置算子与算子编排机制，用户可以以可视化方式构建完整的数据处理流程，实现非结构化数据算子任务的整体逻辑搭建。

8. 数据资产层 在融合结构化、半结构化与非结构化数据的基础上，统一支撑数据标准、数据模型、血缘治理、数据质量与数据安全等元数据管理能力，并为上层提供数据资产检索、API 生成、指标标签等数据服务能力。

9. 数据智能与应用支撑层 基于统一的数据底座，平台可提供智能取数、指标归因分析、数据地图智能搜索、异常排查等基础智能能力，进一步支撑企业在高质量数据集建设、可信数据空间、模型训练与推理、知识问答等热门应用场景中的落地。

通过以上各层能力的协同，数栈 7.0 实现了从多模态数据接入到数据开发、治理再到智能应用的全链路打通，为企业构建面向 AI 时代的数据基础设施。

六大核心能力：让多模态数据“可用、可管、可发挥价值”

多模态计算存储底座对接

数栈支持通过逻辑集群的方式统一管理计算与存储资源。一个集群可以同时配置多种组件，例如：

• 存储：HDFS + MinIO
• 调度：Kubernetes
• 计算：Spark、Doris、Ray

通过这样的组合，企业可以在20分钟内完成多模态数据底座的搭建，并在控制台实时查看资源使用与授权情况，实现灵活调度与精细化管理。

多模态数据集成

数栈支持对接多种数据源：

• 文件与对象存储：PDF、Word、音视频
• IoT与Web：JSON、日志
• 数据库：结构化表数据

数据支持离线与实时采集，并可从本地批量上传。

更关键的是，数据接入后，平台会自动完成三件事：

• 构建元数据
• 自动解析与拆分数据
• 进行Embedding向量化处理

这些结果统一写入搜索系统，为后续开发与数据资产管理提供基础能力。

低代码全景式数据开发

传统企业在处理多模态数据时，往往需要跨多个平台协同：数据库、ETL工具、算法平台之间通过接口连接，链路复杂、维护成本高。

数栈提供了一种全新的开发模式——一个平台、一张全景图、一个流程完成全链路开发。

在这个模式下，用户可以实现：

• 多模态数据统一开发
• 可视化流程编排
• 全链路调试与监控
• 问题快速定位与追溯

在具体开发方式上：

• 非结构化数据支持低代码算子与Python开发
• 内置50+算子（OCR、分段、去重等）
• 支持自定义算子上传与复用

结构化数据则支持多种SQL引擎，满足主流数据开发需求。

多模态元数据管理与检索

所有数据资产统一纳入元数据体系，支持：

• 技术属性、业务属性、管理属性统一管理
• 数据编目与标签体系建设
• 多模态统一搜索（元数据 + 全文 + 向量）

对于非结构化数据，还支持直接预览文档、音视频内容。

同时，系统自动生成全链路血缘关系，从数据源到指标与API，形成完整可追溯的数据图谱，并支持版本管理与历史对比。

全方位数据安全体系

数栈在三个层面构建安全能力：

架构层：

• 环境、集群、租户、项目分层隔离，实现“大隔离、小共享”

数据层：

• 结构化数据：表级、行列级权限控制
• 非结构化数据：文件与目录级权限控制

功能层：

• 数据分级与动态脱敏
• 审批流程控制
• 全操作审计与追溯

确保数据在使用过程中安全、可控、可审计。

灵瞳智能体：让数据平台“会思考”

灵瞳智能体是数栈7.0的重要创新，它将AI能力深度嵌入数据平台，形成三个Agent与一个Copilot：

• 数据开发Agent：自动生成任务、诊断报错并给出修改建议
• 数据治理Agent：分析血缘影响，自动生成质量规则
• 数据分析Agent：基于自然语言查询数据并提供可溯源结果
• 产品Copilot：辅助用户完成操作与学习

这使得数据平台从“工具”升级为“智能助手”。

实战案例：多模态数据如何驱动业务分析

以一个鼠标销售分析场景为例，企业的数据来源包括：

• 图片：商品参数
• 文档：用户评价
• 数据库：订单与商品信息

围绕这三类数据，我们构建了三条处理链路：

1. 图片链路 图片 → OCR识别 → 提取参数 → 转换为结构化数据 → 写入Hive

2. 文档链路 文档 → 清洗与标准化 → 转换为结构化数据 → 写入Hive

3. 结构化链路 数据库 → 数据清洗 → 写入Hive

最终，三条链路汇聚成一张大宽表，实现多维度销售分析。

在实际操作中：

• 通过集群配置完成资源准备
• 使用数据同步任务接入数据
• 基于算子编排完成非结构化数据处理
• 使用Spark SQL完成结构化整合

整个过程在一个平台内完成，开发效率与可控性大幅提升。

未来规划：打造AI时代的数据基础设施

面向未来，数栈将沿三条主线持续演进。

统一Lakehouse底座

实现 Iceberg/Lance 等主流湖表格式统一接入，打通 Flink/Spark/Doris 等多引擎协同读写，通过小文件治理、缓存加速等优化大幅提升性能，深度优化版本管理、湖表管理、可追溯、可管控等企业级能力，让数据从存得下变为管得好、用得稳。

场景化算子解决方案

低代码开发核心是将行业经验沉淀为可复用积木，未来将算子资产化，建立版本记录和性能指标体系，实现算子可管理、效果可衡量；持续沉淀零售商品分析、评论分析、营销内容生成，金融风控、特征工程等场景化解决方案，未来业务人员只需描述需求，平台即可智能推荐算子、自动生成算子编排，让数据开发懂业务、会思考。

AI 能力深度集成与开放

将平台打造成 AI 时代的数据工厂，一方面把数据集成、开发、治理、应用全流程封装为 AI 可复用的 Skills，快速复制落地专家经验，通过约束系统、反馈闭环、监控审计建立完善 AI 工程化能力，保障 AI 安全、高效、规模化运行；另一方面将数据资产、指标、Text to SQL、鉴权等能力通过 MCP 协议开放，支持外部 Agent 零门槛对接，实现数据平台即 AI 能力底座。

从结构化数据平台，到多模态数据底座，再到AI驱动的数据工厂，数栈正在完成一条清晰的演进路径。

在AI时代，数据不再只是被存储和分析的对象，而是驱动智能的核心资产。只有真正打通多模态数据的采、存、管、用全链路，企业才能让AI落地到业务，释放真正的生产力。

数栈希望通过持续的产品能力与服务陪伴，帮助更多企业完成这一次跃迁。