什么是存算分离?
存算分离(Separation of Storage and Compute)是一种将数据持久存储与计算资源解耦的架构方式。数据由独立的存储系统保存,查询、加工或训练使用的计算资源通过网络访问它们,两类资源可以根据不同需求分别扩展。
这里的“分离”主要指资源和管理边界,不意味着计算节点完全没有本地存储。缓存、临时文件和中间计算结果仍然可能存在。Google 对 BigQuery 存算分离的介绍展示了这种设计在分析系统中的具体应用。
存储与计算绑定会遇到什么问题?
在一些传统集群中,一台服务器同时提供磁盘和处理能力。若数据量不断增长,即使计算能力尚有余量,也可能因为磁盘不足而增加整台机器。反过来,月底分析需要更多计算时,扩容又会附带暂时用不上的存储。
当两种需求变化不同步时,资源绑定容易产生浪费。存算分离允许长期保存数据,同时按任务高峰增加计算;任务结束后减少计算资源,而不必随之搬走长期数据。
这是一种资源组织优势,并不是任何条件下都能降低总成本。远程读取、网络、缓存和调度也会产生消耗,需要放在完整工作负载中评估。
它怎样完成一次查询?
查询引擎先取得数据结构、分区和文件位置等信息,判断需要读取的范围,再从共享存储获取数据。计算节点完成筛选、关联与汇总,并把结果返回给使用者。
为减少远程读取,系统可能利用列裁剪、分区过滤和本地缓存。列裁剪只读需要的列,分区过滤避开无关时间或业务范围,缓存则复用已经读取的内容。这些能力共同决定查询体验,不能只凭“存算分离”四个字判断性能。
多个计算集群还可以访问相同的基础数据。经营报表与大规模探索任务因此有机会使用不同资源,减少互相挤占;但它们仍可能争用共享存储或网络,隔离程度取决于具体实现。
一个峰值分析例子
以下是说明性例子。
企业全年都要保存订单历史,但只有月末对账与大促复盘需要较多计算。若存算绑定,为短期高峰准备的服务器可能长期闲置。
在存算分离架构下,历史数据保存在持久存储中,分析期间增加计算资源,结束后再释放。与此同时,日常报表可以使用相对稳定的计算资源池。
不过,新增加的计算节点如果缓存为空,首次查询可能需要重新读取大量数据。假如分析任务又经常扫描全部历史,增加计算并不能消除读数据的成本。这个例子说明:资源弹性、查询设计与数据组织必须一起理解。
它与分布式计算和云计算是什么关系?
分布式计算强调让多台机器协同工作,存算分离强调持久存储与计算资源如何组织。系统可以采用分布式计算,同时仍将计算与本地磁盘紧密绑定。
云环境便于按需申请资源,因此常采用存算分离,但这一架构也可以用于自建环境。它不是“上云”的同义词,更不要求所有数据必须放在公有云。
BigQuery 的官方概览说明了其存储与计算分层方式;这类产品实践可以帮助理解概念,但不同系统的弹性粒度和计费方式并不通用。
适合哪些场景,有什么代价?
数据持续增长、计算需求波动明显、多类工作负载需要共享数据时,存算分离通常值得考虑。对极低延迟、本地数据访问密集、网络受限的场景,则需要更仔细地比较缓存与远程访问的代价。
评价时可以观察同一任务的冷缓存与热缓存表现、网络读写量,以及计算高峰是否影响其他业务。只比较服务器数量,容易忽略远程访问与平台服务的成本。
存储变大与查询变慢一定有关吗?
不一定。总数据增长很快,但查询只读取最近一天和少数列,实际扫描量可能变化不大;反之,数据量没明显增长,一条失去过滤条件的查询也可能突然变慢。
这说明存算分离中的容量和性能需要分开理解。存储容量解决能放多少,查询性能还取决于读取范围、文件组织、网络和计算方式。独立扩展提供选择,却不会自动选择最优方案。
缓存还会改变观察结果。同一查询第二次更快,可能主要来自数据已经接近计算节点,而不是计算逻辑改变。比较不同配置时,需要知道运行条件,否则容易把缓存效果误认为架构差异。
此外,关闭计算资源通常不意味着数据相关费用全部停止。持久存储、索引、后台维护或服务管理仍可能存在成本。资源边界清楚之后,才能更准确解释哪些投入随任务变化,哪些属于长期保存与服务的代价。
袋鼠云可以提供哪些相关能力?
袋鼠云 EasyMR面向统一存储、计算与运维,可用于评估不同数据负载下的资源组织方式。是否采用存算分离,以及如何配置存储与计算资源,应结合引擎、网络条件和业务峰谷特征确定。

