袋鼠云 Data+AI 概念中心
了解大数据、数据工程、数据治理与人工智能的基础概念、工作原理和应用场景。
Data+AI 热门概念
从数据治理、湖仓一体到 RAG,了解企业大数据与人工智能应用中的常见概念。
大数据平台
大数据平台(Big Data Platform)是用于采集、存储、处理和使用大规模、多来源数据的一套技术与管理体系。它把分散在业务系统、设备、网站和文件中的数据组织起来,让不同人员能够开展统计分析、数据服务和机器学习等工作。平台通常包含多种工具,不能简单等同于某一个数据库或一组服务器。
数据基础6 分钟检索增强生成
检索增强生成(Retrieval-Augmented Generation,RAG)是在生成回答前,先从外部资料中检索相关内容,再将这些内容作为上下文提供给模型的方法。它把信息检索与语言生成结合起来,常用于企业知识问答、文档助手和专业资料查询。
人工智能5 分钟数字孪生
数字孪生(Digital Twin)是面向现实对象、系统或过程,建立与之关联的数字表示,并通过数据更新支持观察、分析或推演的方法与系统。对象可以是一台设备、一条产线、一座建筑,也可以是更复杂的业务过程。
应用实践5 分钟
找到你想了解的 Data+AI 概念
按主题浏览大数据与人工智能知识,了解核心概念的定义、工作原理和企业应用场景。
共 73 个概念
大数据平台
大数据平台(Big Data Platform)是用于采集、存储、处理和使用大规模、多来源数据的一套技术与管理体系。它把分散在业务系统、设备、网站和文件中的数据组织起来,让不同人员能够开展统计分析、数据服务和机器学习等工作。平台通常包含多种工具,不能简单等同于某一个数据库或一组服务器。
数据基础6 分钟数据中台
数据中台是企业把分散的数据、加工规则和服务能力统一组织起来,供多个业务持续复用的一种建设思路与能力体系。它通常包括数据集成、公共模型、质量管理、资产目录和数据服务,同时依赖明确的组织分工和运营机制。
数据基础5 分钟数据仓库
数据仓库(Data Warehouse)是为统计分析、历史比较和经营决策而建设的数据存储与管理体系。它通常把多个业务系统的数据整理到相对统一的结构中,让使用者能够分析某段时间发生了什么、不同业务之间有什么关系,以及变化趋势如何。
数据基础5 分钟数据湖
数据湖(Data Lake)是一种保存和管理多类型数据的存储体系,可以容纳业务表、日志、文档、图片、音视频等内容,并支持不同用途的后续处理。它通常允许数据先以接近原始的形态保存,再根据分析或应用需要组织结构。
数据基础5 分钟湖仓一体
湖仓一体(Data Lakehouse)是一种结合数据湖存储灵活性与数据仓库管理能力的数据架构思路。它希望让多种计算和分析任务在共享的数据基础上工作,同时提供表结构、事务、版本和治理等能力,减少湖与仓之间反复复制数据的需要。
数据基础5 分钟存算分离
存算分离(Separation of Storage and Compute)是一种将数据持久存储与计算资源解耦的架构方式。数据由独立的存储系统保存,查询、加工或训练使用的计算资源通过网络访问它们,两类资源可以根据不同需求分别扩展。
数据基础5 分钟MPP 数据库
MPP 是 Massively Parallel Processing 的缩写,中文通常称为大规模并行处理。MPP 数据库将一项查询拆成多个可以协作执行的任务,由不同计算节点同时处理数据,再合并结果,常用于数据仓库和复杂分析。
数据基础5 分钟数据建模
数据建模(Data Modeling)是识别业务中的对象、属性、关系与规则,并用明确结构表达它们的过程。模型告诉人们:一条数据代表什么,哪些数据可以关联,哪些约束必须满足,以及系统应如何保存和使用这些信息。
数据基础5 分钟多模态数据
多模态数据(Multimodal Data)是以多种信息形态表达同一对象、事件或业务环境的数据,例如文本、图像、音频、视频和传感器记录。不同模态提供不同角度的信息,结合起来有机会获得比单一来源更完整的理解。
数据基础5 分钟维度建模
维度建模(Dimensional Modeling)是一种面向数据分析的建模方法,围绕业务过程,把可以度量的事实与描述事实背景的维度组织起来。销售金额、销售数量是度量,日期、商品、客户和门店是常见维度。使用者由此可以从不同角度分析同一业务过程。
数据工程5 分钟数据集成
数据集成(Data Integration)是将不同来源的数据连接、协调和组合,使它们能够形成可共同使用的数据或统一视图的过程。来源可以是数据库、应用接口、文件、消息流,也可以是文档等内容。
数据工程5 分钟数据同步
数据同步(Data Synchronization)是按约定规则,将数据从一个位置传递到另一个位置,使不同系统中的相关数据保持预期一致状态的过程。它可以发生在数据库之间,也可以发生在业务系统、搜索索引、缓存和分析平台之间。
数据工程5 分钟ETL 数据处理
ETL 是 Extract、Transform、Load 的缩写,中文通常译为提取、转换和加载。它是一种数据处理方式:从来源取得数据,在装入目标前完成主要清洗与转换,再把结果写入数据仓库、数据库或其他目标。
数据工程5 分钟ELT 数据处理
ELT 是 Extract、Load、Transform 的缩写,即提取、加载和转换。它先把来源数据装入具备处理能力的目标环境,再在其中完成清洗、关联、汇总和建模。目标可能是云数据仓库、数据湖或湖仓平台。
数据工程5 分钟变更数据捕获
变更数据捕获(Change Data Capture,CDC)是识别并取得数据源中新增、修改和删除变化的一类技术。它把“数据发生了什么变化”传递给下游,常用于数据同步、实时分析、搜索索引更新和系统迁移。
数据工程5 分钟数据管道
数据管道(Data Pipeline)是把数据从一个或多个来源送往使用位置,并在途中完成必要处理的一组相互连接的步骤。它可以包括读取、传输、清洗、关联、校验、存储和交付,输出既可能是一张分析表,也可能是持续更新的搜索索引或模型输入。
数据工程5 分钟流式计算
流式计算(Stream Processing)是对持续到达的数据进行增量处理的一种方式。系统不必等全部数据收集结束,就可以不断完成筛选、关联、统计和模式识别,并更新结果。订单事件、设备读数、网站点击和交易流水都是常见输入。
数据工程5 分钟流批一体
流批一体是用尽量统一的模型、接口或计算体系处理批量历史数据与持续流入数据的思路。批处理面对有边界的数据集,流处理面对不断增长的数据流;流批一体希望减少两套逻辑重复维护,并让历史重算与实时更新更容易保持一致。
数据工程5 分钟实时数仓
实时数仓是持续接入和加工业务变化,以较低延迟提供分析数据的数据仓库体系。它不仅要把数据更快送到目标,还要完成口径统一、关联、质量管理和查询交付,让较新的数据可以被业务理解和使用。
数据工程5 分钟任务调度
任务调度是根据时间、事件、数据就绪状态和任务依赖,组织计算工作运行的过程。在数据工程中,它常用于安排同步、清洗、建模、质量检查和报表更新,让多个步骤按正确关系持续执行。
数据工程5 分钟数据可观测性
数据可观测性(Data Observability)是通过持续收集和关联数据状态、处理过程及上下游信息,理解数据健康状况并定位异常的能力。它关注的不只是程序有没有报错,还包括数据是否按时到达、数量是否合理、结构是否变化,以及问题会影响哪些使用者。
数据工程5 分钟数据服务
数据服务是将经过组织的数据或计算结果,通过明确接口、权限和使用规则提供给应用或人员的一种方式。常见形态是数据 API,也可以包括查询服务、订阅和受控数据交付。
数据工程5 分钟数仓分层
数仓分层是按照数据的来源、加工程度、复用范围和消费目的,将数据仓库中的数据组织成不同层次的方法。它帮助区分原始记录、统一明细、公共汇总和面向应用的结果,减少重复处理,并让数据变化更容易追溯。
数据工程5 分钟批处理
批处理(Batch Processing)是把一定范围的数据或任务集中起来,按照既定规则统一执行的处理方式。例如每天计算前一天订单、每月生成账单,或者对一批图片进行格式转换,都属于批处理。
数据工程5 分钟数据治理
数据治理(Data Governance)是围绕数据制定规则、明确责任并监督执行的一组组织与管理活动。它回答谁可以作出数据决策、哪些标准必须遵守、数据问题由谁处理,以及如何在价值与风险之间作出选择。
数据治理5 分钟元数据
元数据(Metadata)是描述其他数据的结构、含义、来源和使用背景的信息。它帮助人们理解一份数据是什么、从哪里来、什么时候更新、由谁负责,以及可以怎样使用。
数据治理5 分钟数据血缘
数据血缘(Data Lineage)是对数据来源、加工过程和下游流向的关系描述。它帮助人们回答某张报表使用了哪些表,一个字段经过哪些转换,以及修改上游后哪些结果可能受到影响。
数据治理5 分钟数据质量
数据质量(Data Quality)是数据满足特定用途要求的程度。它不只是格式有没有错误,还包括内容是否准确、必要信息是否完整、不同记录是否一致,以及数据是否足够及时。
数据治理5 分钟数据标准
数据标准是对数据的命名、定义、结构、格式、取值、编码和管理要求作出的共同约定。它使不同系统与人员能够以一致方式描述同一对象,减少交换和使用数据时的歧义。
数据治理5 分钟数据目录
数据目录(Data Catalog)是组织和检索数据资源描述信息的体系。它让使用者按名称、主题、业务含义或其他条件找到数据,并了解来源、结构、负责人、更新情况、质量和使用权限。
数据治理5 分钟数据资产管理
数据资产管理是对能够为组织活动提供价值的数据资源进行识别、登记、维护、保护和运营的过程。它关注数据在哪里、是什么、由谁负责、质量如何、谁在使用,以及继续保存和维护是否值得。
数据治理5 分钟数据安全
数据安全是通过管理与技术措施,降低数据被未经授权访问、泄露、篡改、破坏或无法使用的风险。它覆盖采集、传输、存储、处理、共享和销毁等阶段,并同时关注人员、系统与流程。
数据治理5 分钟数据脱敏
数据脱敏是根据使用目的,对敏感内容进行遮盖、替换、泛化或其他变换,以减少直接暴露和不当识别风险的处理方式。例如隐藏手机号部分字符,把精确年龄改为年龄区间,或者使用替代标识关联记录。
数据治理5 分钟可信数据空间
可信数据空间是连接多个参与主体,按照共同认可的规则开展数据共享、使用与协作的数据流通利用基础设施和应用生态。它不仅涉及技术连接,还涉及身份、授权、使用约束、责任和运营机制。
数据治理5 分钟数据生命周期管理
数据生命周期管理(Data Lifecycle Management)是根据数据的使用价值、访问需求、风险和保留要求,管理其产生、采集、保存、使用、共享、归档与删除的过程。
数据治理5 分钟数据分类分级
数据分类分级是先按业务、内容或属性组织数据,再根据敏感程度、重要性和潜在影响确定不同管理要求的过程。分类帮助理解“这是什么数据”,分级帮助判断“需要多强的保护与控制”。
数据治理5 分钟商业智能
商业智能(Business Intelligence,BI)是将业务数据组织、分析并呈现出来,以支持经营观察与决策的一组方法、流程和工具。常见结果包括经营报表、交互看板、指标分析和异常提示。
分析决策5 分钟联机分析处理
联机分析处理(Online Analytical Processing,OLAP)是一类支持交互式、多维业务分析的技术与方法。使用者可以按时间、地区、产品和客户等角度观察数据,进行汇总、比较和进一步细分。
分析决策5 分钟语义层
语义层(Semantic Layer)是在底层数据结构与上层分析应用之间,统一描述业务对象、维度、指标和关联规则的一层逻辑。它把技术表与字段转成使用者理解的概念,例如客户、有效订单、净销售额和复购率。
分析决策5 分钟自助分析
自助分析(Self-service Analytics)是让业务人员使用已经组织好的数据、指标和分析工具,自行查询、筛选、组合与呈现结果的一种用数方式。它减少每个问题都需要提出开发需求的等待,让熟悉业务的人更直接地进行探索。
分析决策5 分钟数据可视化
数据可视化(Data Visualization)是把数据映射为位置、长度、颜色、形状等视觉元素,帮助人们观察比较、趋势、分布和关系的表达方式。折线图、柱状图、散点图和地图都是常见形式。
分析决策5 分钟指标体系
指标体系是围绕业务目标,将一组相互关联的度量按层次、维度和作用组织起来的框架。它不仅列出要看哪些数字,还说明这些数字怎样共同描述结果、过程、效率和风险。
分析决策5 分钟指标管理
指标管理是对指标的定义、开发、审核、发布、使用、变更和停用进行持续管理的过程。它让使用者知道一个数字怎样计算、适合回答什么问题、由谁负责,以及不同入口是否采用同一口径。
分析决策5 分钟智能问数
智能问数是让使用者通过自然语言提出数据问题,由系统识别业务含义、取得授权数据并返回数字、图表或解释的一类分析能力。例如询问“上个月各地区净销售额如何”,系统将问题转成适当查询并组织结果。
分析决策5 分钟指标归因分析
指标归因分析是将总体指标的变化,按业务维度或计算关系拆解,识别哪些部分贡献了增长或下降的分析过程。它帮助把“销售额下降了”进一步转成“主要集中在哪些地区、渠道,或哪些构成因素发生了变化”。
分析决策5 分钟用户标签体系
用户标签体系是围绕具体业务用途,将用户属性、行为和计算特征按规则组织起来的描述体系。例如所在地区、最近购买时间、常购品类和会员状态,都可以成为标签。
分析决策5 分钟用户画像
用户画像(User Profile)是将用户的属性、行为、交易和互动等信息组织起来,形成便于理解与使用的描述视图。它可以面向单个用户,也可以描述一个群体,常用于服务分析、产品研究和运营分群。
分析决策5 分钟自然语言转 SQL
自然语言转 SQL(Text-to-SQL)是把人用日常语言提出的数据问题,转换为结构化查询语言 SQL 的技术。例如“上个月华东地区卖得最多的五类商品”,可以被转换为带有时间、地区、分组与排序条件的查询。
人工智能5 分钟大语言模型
大语言模型(Large Language Model,LLM)是一类通过大量数据训练、能够处理与生成语言的机器学习模型。它可以用于问答、摘要、翻译、分类和内容转换,也可以在应用系统中配合工具完成更复杂任务。
人工智能5 分钟检索增强生成
检索增强生成(Retrieval-Augmented Generation,RAG)是在生成回答前,先从外部资料中检索相关内容,再将这些内容作为上下文提供给模型的方法。它把信息检索与语言生成结合起来,常用于企业知识问答、文档助手和专业资料查询。
人工智能5 分钟向量数据库
向量数据库(Vector Database)是面向向量表示的保存、索引和相似性检索而设计的数据库或数据库能力。文本、图片和音频等内容可以通过模型转换成向量,再根据距离或相似度寻找接近的对象。
人工智能5 分钟AI 智能体
AI 智能体(AI Agent)是利用人工智能,根据目标和环境信息选择行动,并通过执行与反馈推进任务的软件系统。在常见的大模型应用中,它由模型、工具、任务状态和控制流程等部分组成。
人工智能5 分钟机器学习
机器学习(Machine Learning,ML)是利用数据训练模型,使其能够对新输入进行预测、分类、模式识别或内容生成的方法。开发者不必为每种情况逐条编写全部规则,而是设计学习过程,让模型从样例中形成可泛化的关系。
人工智能5 分钟语义检索
语义检索(Semantic Search)是利用查询和内容的含义、上下文与关系,寻找相关信息的检索方式。它希望在用词不同但意图接近时,仍能找到有用结果。
人工智能5 分钟高质量数据集
高质量数据集是围绕明确用途,经过选择、整理、必要标注与评价,能够满足该任务要求的数据集合。它不仅是数量多、格式整齐,还需要考虑准确性、代表性、完整性、适用权限与持续维护。
人工智能5 分钟向量嵌入
向量嵌入(Embedding)是将词语、文本、图像、音频或其他对象映射为数值向量的表示方式。适当训练后,具有相关特征的对象可以在表示空间中较为接近,从而支持相似检索、分类和推荐等任务。
人工智能5 分钟大模型微调
大模型微调(Fine-tuning)是以已经训练好的基础模型为起点,使用特定数据和目标继续训练,调整其参数或附加参数,使其更适合某类任务、表达方式或业务模式的方法。
人工智能5 分钟模型上下文协议
模型上下文协议(Model Context Protocol,MCP)是一种让 AI 应用以共同方式连接外部数据、工具和提示资源的开放协议。它帮助不同应用与服务约定如何发现能力、传递请求和取得结果,减少每次接入都重新设计全部交互的需要。
人工智能5 分钟多模态大模型
多模态大模型是能够处理两种或以上信息模态,并在这些信息之间建立关联的一类大规模模型。输入可以包括文本、图片、音频或视频,输出则取决于模型设计,可能是文字,也可能包含图像或声音。
人工智能5 分钟数据运维协作
DataOps 是将协作、自动化、持续反馈与质量管理应用于数据交付的一组实践。它关注从需求、开发、测试到运行和使用反馈的完整过程,让数据团队能够更稳定地交付可用结果。
应用实践5 分钟数据驾驶舱
数据驾驶舱是面向特定角色或业务场景,将关键指标、趋势、异常和必要交互集中呈现的可视化应用。它帮助使用者快速了解当前状态,识别需要关注的问题,并进入进一步分析或处理。
应用实践5 分钟机器学习运维
机器学习运维(Machine Learning Operations,MLOps)是围绕数据准备、训练、评价、部署、监测和更新,组织机器学习系统持续运行的一组实践。它把数据科学、软件工程与运行管理连接起来,使模型从一次实验变成可以维护的业务能力。
应用实践5 分钟数字孪生
数字孪生(Digital Twin)是面向现实对象、系统或过程,建立与之关联的数字表示,并通过数据更新支持观察、分析或推演的方法与系统。对象可以是一台设备、一条产线、一座建筑,也可以是更复杂的业务过程。
应用实践5 分钟三维可视化
三维可视化是利用具有宽、高、深等空间信息的数字表示,将物体、环境或数据呈现在屏幕上的技术与表达方式。它可以展示建筑、设备、城市和产品,也可以帮助分析空间关系与运行状态。
应用实践5 分钟地理空间可视化
地理空间可视化是将带有位置、范围或空间关系的数据,通过地图及相关图形表达出来的方法。它不仅展示“在哪里”,还帮助观察分布、距离、覆盖、连接与时间变化。
应用实践5 分钟交互式 AI 数字人
交互式 AI 数字人是以数字形象为交互界面,结合语音、语言理解、知识与动画等能力,能够接收用户输入并作出相应反馈的软件系统。它可以用于讲解、导览、服务咨询和其他人机交互场景。
应用实践5 分钟系统可观测性
系统可观测性(Observability)是通过系统产生的遥测信号,理解其内部状态、行为与故障原因的能力。它帮助团队从“用户体验变慢了”继续追问,到底哪一段请求、哪个依赖或什么资源出现问题。
应用实践5 分钟智能运维
智能运维(Artificial Intelligence for IT Operations,AIOps)是将机器学习、统计分析、自然语言处理等能力用于 IT 运维,帮助发现异常、关联事件、分析故障和组织处置的一类方法与系统。
应用实践5 分钟数据门户
数据门户(Data Portal)是面向数据消费者,集中提供资源发现、理解、申请与使用入口的应用。它可以呈现数据集、指标、报表、API和知识内容,让使用者从业务需求出发找到适合的数据能力。
应用实践5 分钟大数据集群运维
大数据集群运维是围绕分布式存储、计算、资源调度和相关服务,进行配置、监测、维护、容量规划、故障恢复与变更管理的工作。它的目标是让数据任务与业务服务持续满足可用性、时效和成本要求。
应用实践5 分钟大模型评测
大模型评测是使用代表性任务、数据和评价标准,检查模型或模型应用在准确性、可靠性、安全、效率与业务适用性等方面表现的过程。它既可以用于比较模型,也可以用于判断提示、检索、工具与流程变化是否改善结果。
应用实践5 分钟AI 知识库
AI 知识库是将文档、网页和其他资料组织为可被 AI 应用检索、理解和引用的知识资源体系。它通常包括内容接入、解析、索引、权限、版本与检索,并与生成模型结合提供问答或辅助任务。
应用实践5 分钟三维高斯泼溅
三维高斯泼溅(3D Gaussian Splatting,3DGS)是一类用三维高斯基元表示场景,并通过投影与混合生成图像的技术。在实景重建中,它可以根据多视角照片优化场景表示,让使用者从新的视角观察。
应用实践5 分钟
已经到底了

