什么是流式计算?
流式计算(Stream Processing)是对持续到达的数据进行增量处理的一种方式。系统不必等全部数据收集结束,就可以不断完成筛选、关联、统计和模式识别,并更新结果。订单事件、设备读数、网站点击和交易流水都是常见输入。
它适合需要较快反馈的任务,但“流式”不等于没有延迟。AWS 的实时数据流介绍讨论了持续接入与处理的关系,实际时效仍受采集、传输、计算和结果写入共同影响。
流式计算与批处理最大的差异是什么?
批处理面对一批有明确边界的数据,例如昨天全部订单,通常可以在数据收齐后统一计算。流式计算面对可能持续增长的数据,要在不确定“以后还会不会来”的情况下不断输出结果。
例如实时统计最近五分钟的订单数,窗口会随着时间移动,旧事件离开,新事件进入。系统需要记住尚未过期的信息,这些中间记录与统计结果通常称为状态。
因此,流式计算不仅是把批任务运行得更频繁,还涉及时间、状态、迟到数据与持续恢复等问题。
事件时间和处理时间有什么区别?
事件时间是业务实际发生的时间,处理时间是系统收到并处理数据的时间。手机离线后补传的点击,可能昨天发生、今天才被处理。
若按处理时间统计,它进入今天的计数;若按事件时间统计,就应回到昨天相应时间范围。两者没有脱离场景的绝对优劣,但必须与业务问题一致。
Apache Flink 的时间概念说明讨论了事件时间与水位线。水位线用于表达系统对事件时间进展的判断,帮助决定何时输出或关闭部分窗口;它不是保证再也不会出现迟到数据的绝对证明。
一个实时门店统计例子
以下是说明性例子。
连锁门店每次付款后发送事件,总部持续统计每五分钟成交额。一家门店网络中断,恢复后补传了十分钟前的订单。
如果只按接收时间计算,这些订单会抬高当前五分钟成交额;若按交易时间处理,则需要补充或修订此前窗口。系统也可以设定可接受迟到范围,把更晚记录转入后续校正流程。
这个选择体现的是时效与完整性的取舍:越早输出,越可能需要后续修正;等得越久,结果可能更完整,但提醒价值也可能下降。实时结果可以先服务观察,再由日终统计完成最终核对。
窗口、状态与检查点分别有什么作用?
窗口把连续事件划分为可计算的范围,例如固定五分钟、滚动一小时或一次会话。状态保存跨事件的信息,例如当前累计金额、用户最近一次行为。
检查点等机制保存可恢复的处理进度与状态,使故障后有机会从一致位置继续。它们能提供怎样的一致性,还取决于来源是否可重放、目标如何写入,以及外部操作能否避免重复。
因此,某个计算引擎支持“恰好一次”状态语义,不自动意味着从业务系统到最终报表的所有环节都不会重复或遗漏。
流式计算适合哪些场景?
需要持续感知变化的监控、风控、运营提醒和实时指标,是常见用途。若一项结果到第二天使用也不影响决策,批处理可能更简单,尤其适合大规模历史重算。
流式任务还要持续占用资源,维护状态并处理积压。对于低频数据与简单规则,定时短批次可能已经足够。应从业务需要多快得到答案开始,而不是先决定所有数据都要实时化。
持续计算为什么需要保存状态?
单纯过滤一条事件,可以不关心此前内容;统计某用户最近一小时行为,则需要记住一段历史。状态使连续事件之间能够建立关系,也增加了资源与恢复要求。
状态不是必须无限保留。窗口结束、业务过期或规则允许后,可以清理部分记录,但清理后就可能无法直接修正更晚到达的事件。因此,保留期限体现时效、完整性与成本的取舍。
有时使用者希望立即看到结果,又希望数字永不改变,这两个要求未必同时满足。较早输出可能只是当前已知事件形成的结果,后续仍会补充或撤回。
理解流式计算时,应把结果看作持续演进的信息,而不是瞬间完成的最终事实。是否需要最终确认版本、何时确认,以及怎样展示修正,应由业务用途决定。实时反馈与完整核对可以分别承担任务,不必让一条链路同时满足所有期待。
连续任务还可能因为来源突增而产生背压,即下游处理不及反向限制上游速度。它是流量协调现象,需要结合积压与业务延迟解释,而不是只看某个节点是否繁忙。
袋鼠云可以提供哪些相关能力?
袋鼠云 StreamWorks覆盖实时采集、开发与运维,可支持持续数据加工和实时分析链路。事件时间、迟到容忍与结果校正规则需要结合具体业务共同定义。

