什么是变更数据捕获?

什么是变更数据捕获?

变更数据捕获(Change Data Capture,CDC)是识别并取得数据源中新增、修改和删除变化的一类技术。它把“数据发生了什么变化”传递给下游,常用于数据同步、实时分析、搜索索引更新和系统迁移。

CDC 关注变化本身,而不是每次重新复制全部数据。基于数据库日志读取变化是常见实现,但不是唯一方式。Google Datastream 的概念说明提供了持续捕获来源变化并传递到目标的例子。

CDC 与定时查询更新时间字段有什么区别?

定时查询可以读取某个时间点之后更新的记录,做法相对直观,但依赖来源维护准确的更新时间。如果一条记录被物理删除,单看现有表可能已经找不到它;同一行在两次查询之间多次变化,也可能只看到最终状态。

基于日志的 CDC 则从数据库变更记录中识别操作,有机会取得更完整的变化过程。它也依赖日志格式、权限、保留时间及数据库支持,不能视为完全没有来源影响。

触发器、版本字段和应用事件也能用于识别变化,各有维护成本与覆盖边界。讨论 CDC 能力时,应该说明实际采用哪种机制。

历史数据与后续变化怎样衔接?

新目标通常既需要已有数据,也需要之后的变化。因此,常见流程包括初始快照与持续捕获两个部分。关键是确定衔接位置,避免初始化期间发生的变化被漏掉或重复应用。

例如复制某张表时,源端仍在新增订单。如果只是先复制全部记录,再从“复制完成时”开始读取日志,复制期间的更新可能丢失。具体工具会采用不同协调方式,但都需要处理这一时间边界。

目标还要根据用途决定如何应用变化。分析明细表可能更新当前状态,审计用途则可能保存变化历史,两者并不是同一种结果。

用订单取消理解删除与更新

以下是说明性例子。

订单从“待付款”改成“已付款”,之后又取消。如果下游只收到第一条新增记录,就会长期把它看作未变化的订单;如果收到全部变化但没有正确排序,也可能把最终状态回退。

一部分系统把取消记录为状态更新,另一部分直接删除记录。CDC 必须理解来源的实际变化形式,下游也要有对应处理规则,不能把所有消息都当成新的订单累加。

重试时还可能重复收到同一变化。因此需要识别事件或业务版本,让重复传输不会重复增加成交额。来源变化被完整捕获,只是可靠链路的一部分,正确应用同样重要。

CDC、消息队列和实时计算是什么关系?

概念 主要职责
CDC 从来源识别和取得数据变化
消息队列 缓冲、保存和传递消息或事件
实时计算 持续加工、关联和汇总变化数据

一条实时链路可以由 CDC 取得数据库变化,通过消息系统传递,再由流式引擎处理。也可以根据实际需求省略其中一些环节。

CDC 事件通常反映数据库记录变化,不一定就是完整业务事件。一次业务操作可能修改多张表,下游仍需理解事务和业务关系,不能从“改了一行”直接推断整个业务已经结束。

CDC 有哪些局限?

日志过期、连接中断、结构变更和不支持的数据类型,都可能影响持续捕获。网络恢复后若积压很多变化,目标还可能长时间追赶来源。

“使用 CDC”也不自动意味着零延迟或端到端恰好一次。延迟与一致性需要结合捕获、传输、处理和写入共同判断。若每天一次的统计已足够,简单批量接入可能更经济。

数据库变化为什么不等于完整业务事件?

一次下单可能同时写订单、明细、支付和库存记录。CDC 可以取得这些表的变化,但下游仍需判断它们之间的事务和业务关系,不能看到第一条新增就认定全部业务完成。

同一行的变化也可能来自后台修复、数据迁移或管理操作,而不是用户行为。若用于行为分析,需要明确哪些变化符合目标定义。

日志捕获通常还依赖可用进度。中断太久、相关日志已被清理时,可能无法直接从原位置继续,需要重新初始化或采用其他恢复方式,具体取决于工具与来源。

因此,CDC 应与来源生命周期、历史回填和下游应用规则一起理解。它能提高变化取得的效率,却不自动提供业务语义、无限日志或全部一致性保证。一个完整方案需要让使用者知道捕获范围、时效、恢复边界,以及哪些结果仍需要后续核对。

结构变更尤其需要关注:字段改名、类型变化与主键调整,对捕获和目标应用可能产生不同影响。能够发现变更,与能够自动正确处理变更,也应分别理解。

袋鼠云可以提供哪些相关能力?

袋鼠云 StreamWorks面向实时采集、开发与运维,BatchWorks可承接历史数据与批量加工,两者可配合支持初始化和持续变化处理的相关需求。

返回概念目录