什么是ETL 数据处理?
ETL 是 Extract、Transform、Load 的缩写,中文通常译为提取、转换和加载。它是一种数据处理方式:从来源取得数据,在装入目标前完成主要清洗与转换,再把结果写入数据仓库、数据库或其他目标。
ETL 常用于多来源分析、历史数据整理和系统迁移。Google Cloud 的 ETL 介绍将其解释为把不同系统数据组合起来的流程。它描述的是处理顺序,不是某一种专门软件,也不等于只能在夜间运行。
三个环节分别做什么?
提取负责读取来源,例如业务数据库、文件和应用接口。此时需要知道读取哪些记录、采用什么时间范围,以及怎样减少对来源业务的影响。
转换把来源数据整理成目标需要的形式。常见操作包括统一日期和金额单位、映射代码、去重、关联不同来源、处理缺失以及计算派生字段。转换也可能执行业务规则,例如区分支付、退款和取消。
加载负责把结果写入目标,并确定采用追加、更新还是替换。写入成功后,还需要确认结果是否完整,避免下游在只写入一半时就开始使用。
为什么先转换再加载?
某些目标只希望接收符合明确规则的数据,或者不适合承担复杂加工。此时,在进入目标前完成整理,可以让目标结构更稳定,也便于限制进入分析环境的数据范围。
例如原始记录含有不需要用于分析的个人信息,可以在装入分析目标前进行必要处理。不过,这不代表 ETL 天然保证隐私或数据质量;原始提取、临时存储和传输过程同样需要管理。
先转换也意味着转换规则要较早确定。如果后来需要原先被舍弃的字段,而来源又不再保留,可能无法重新分析。因此,是否另行保存受控的原始版本,要结合用途与保留要求决定。
一个订单金额例子
以下是说明性例子。
订单系统用“分”保存支付金额,售后系统用“元”保存退款金额。分析目标希望保存按订单计算的净支付金额。
ETL 先读取订单和退款,再统一货币单位、检查退款对应的订单,按约定范围汇总退款,最后写入结果。若直接把两个数相减而未统一单位,数字可能非常离谱;若先关联再汇总,又可能因为一单多笔退款重复计算订单金额。
正确处理不仅依赖字段转换,还依赖数据粒度和关联规则。找不到订单的退款应单独处理并留下说明,而不是悄悄丢弃。该例说明,ETL 是把业务含义落实为数据处理的过程。
ETL 与 ELT、数据管道有什么区别?
| 概念 | 关键特点 |
|---|---|
| ETL | 主要转换发生在装入目标之前 |
| ELT | 先装入目标,再利用目标环境转换 |
| 数据管道 | 从来源到使用端的一整条数据流动与处理链路 |
ETL 是数据管道的一种组织方式。实际系统也可能混合两者:先过滤或脱敏,再加载,随后在目标内做进一步关联与汇总。划分重点应看主要处理发生的位置,而不是要求每条数据都严格走相同步骤。
AWS 的 ETL 管道说明进一步讨论了批量和持续处理方式。ETL 与批处理经常一起出现,但二者不是同义词。
ETL 有哪些优势与代价?
当规则稳定、目标结构明确、进入目标前必须完成处理时,ETL 比较直观。它可以让下游直接使用整理后的数据,也便于在入口设置质量门槛。
代价是维护转换逻辑、处理中间数据和协调失败恢复。规则变更可能要求重新读取历史数据;来源变化也可能打断整个流程。若目标本身具有强大加工能力,且需要保留原始资料供多种用途探索,ELT 可能更合适。
判断方式是否适用,应看数据敏感性、目标能力、规则变化频率和使用需求,而不是简单认为 ETL 过时、ELT 更新。
ETL 中的空值为什么不能随意填成零?
空值可能表示未采集、不适用或尚未完成,零则通常是一个明确数值。把缺失金额全部改成零,虽然方便计算,却可能低估收入或掩盖来源问题。
同样,重复记录也需要判断来源。有的来自重发,有的本来就是多次合法业务事件。只按部分字段去重,可能误删实际发生的交易。
因此,转换规则应保留语义。无法确定的记录可以单独标记、隔离或交由负责人确认,而不是为了让目标表整齐而强行补值。
错误处理方式也要与用途匹配。少量无关字段缺失可能不必阻断全部报表,关键金额错误却可能需要暂停交付。ETL 的可靠性并不是“没有脏数据进入目标”这样简单,而是让异常被发现,处理依据清楚,并让下游知道结果覆盖了什么、仍存在哪些限制。
同一处理也可能需要保留异常原值与修正值,方便后来者理解发生了什么。若只覆盖原记录而没有依据,后续排查就难以区分来源错误与转换错误。
袋鼠云可以提供哪些相关能力?
袋鼠云 BatchWorks覆盖数据集成、开发、调度与运维,可承接 ETL 的接入、转换与任务管理,帮助将处理规则组织成持续运行的数据流程。

