Spark常见错误剖析与应对策略

Spark 作业失败时，日志往往很长，真正的根因可能隐藏在 Driver、Executor、YARN 或 Kubernetes 的不同位置。进行 Spark 常见错误剖析与应对策略整理时，关键是先判断失败发生在哪个阶段，再结合数据规模、资源配置和业务逻辑分析。

shuffle 元数据缺失

MetadataFetchFailedException: Missing an output location for shuffle 是常见报错之一。它通常表示下游 task 在拉取 shuffle 数据时，找不到上游 map 输出位置。可能原因包括 Executor 丢失、节点故障、磁盘清理、网络异常或外部 shuffle 服务配置问题。

应对时可以检查 Executor 是否频繁退出、节点磁盘是否满、shuffle service 是否开启并稳定、作业是否存在过大的 shuffle。必要时优化分区数、减少宽依赖或调整资源。

内存不足与 GC 问题

Spark 作业出现 OutOfMemoryError、频繁 GC 或容器被杀，通常与数据量、分区大小、缓存策略、聚合方式有关。不要只盲目调大 executor memory，应该先看是否单分区数据过大、是否 collect 到 Driver、是否缓存了不必要的数据。

常见优化包括增加分区数、避免大对象聚合、减少 collect、合理使用 persist、及时 unpersist，并根据集群资源调整 executor 数量和 core 数。

数据倾斜

数据倾斜会表现为少数 task 运行时间远长于其他 task，甚至导致某个 Executor 内存溢出。原因通常是 join key 或 group by key 分布极不均匀。

排查时可以在 Spark UI 中查看 stage 的 task duration、shuffle read 和输入记录数。处理方式包括过滤异常 key、加盐打散、广播小表、预聚合、拆分热点 key 等。具体方案取决于业务是否允许改变计算过程。

序列化和类依赖问题

Task not serializable、类找不到、版本冲突也是 Spark 常见错误。闭包中引用不可序列化对象、Driver 端对象被传入 Executor、依赖包版本不一致，都可能导致失败。

建议把需要分发到 Executor 的逻辑保持简单，避免在 RDD 或 Dataset 转换中引用连接对象、线程池、复杂客户端。依赖包要统一构建和提交，避免集群已有 jar 与作业 jar 冲突。

建立稳定排查流程

Spark 常见错误剖析与应对策略不能只背报错。更有效的流程是：先看 Driver 日志确认失败阶段，再看 Spark UI 定位 stage 和 task，再结合资源管理器日志确认容器退出原因，最后回到代码和数据分布验证假设。

作业上线前，建议保留关键指标监控，包括输入数据量、shuffle 大小、任务耗时、失败重试次数和资源使用率。很多 Spark 问题不是突然出现，而是数据量增长后逐渐暴露。