在大数据处理日益成为企业核心竞争力的今天，Apache Spark 作为分布式计算框架的首选，广泛应用于数据中台、数字孪生建模与实时可视化分析场景。然而，许多企业在部署 Spark 作业时，常因资源配置不当导致资源浪费、任务延迟或集群不稳定。其中，executor 数量与 core 数量的配置，是影响作业性能最关键的两个参数。本文将深入剖析 Spark 参数优化实战中的 executor 与 core 调优方法，提供可落地的配置策略，助您在生产环境中实现资源利用率与任务吞吐量的双重提升。

一、executor 与 core 的基本概念

在 Spark 架构中，executor 是运行在工作节点（Worker Node）上的进程，负责执行任务（Task）并缓存数据。每个 executor 可以并行运行多个任务，其并行度由分配给它的 core 数量决定。

• executor 数量：决定了作业的并行进程数，影响任务的隔离性与容错能力。
• core 数量：决定了每个 executor 内部的并发任务数，影响单进程的计算吞吐量。

✅ 核心原则：executor 与 core 的组合，决定了 Spark 作业的“并行粒度”与“资源密度”。二者需协同优化，而非单独追求最大值。

二、executor 数量的配置逻辑

1. 基础公式：executor 数量 = (集群总 core 数 - Driver 占用) ÷ 每个 executor 的 core 数

假设集群有 20 个 Worker 节点，每个节点 8 核，共 160 核。Driver 占用 1 核，则可用核心为 159。

若每个 executor 分配 5 core，则：

executor 数量 = 159 ÷ 5 = 31.8 → 取整为 31

2. 避免“过小 executor”陷阱

若设置每个 executor 仅 1 core，虽然并行度高，但会带来：

• 进程启动开销剧增（JVM 启动、内存初始化）
• Shuffle 文件碎片化严重，增加 I/O 压力
• 内存利用率低下，缓存效率下降

📌 实践建议：单个 executor 至少分配 4 core，以平衡并行与开销。

3. 避免“过大 executor”风险

若设置每个 executor 16 core，虽减少进程数，但：

• 单点故障影响范围扩大（一个 executor 崩溃，丢失 16 个任务）
• GC 压力激增（堆内存过大导致 Full GC 频繁）
• 内存溢出（OOM）风险上升，尤其在宽依赖（如 join、groupByKey）场景

📌 实践建议：单个 executor 最大不超过 8 core，内存建议 16GB~32GB。

4. 动态资源分配（Dynamic Allocation）的适用场景

开启 spark.dynamicAllocation.enabled=true 可根据任务负载自动伸缩 executor 数量，适用于：

• 任务负载波动大（如夜间批量任务 vs 白天交互式查询）
• 多租户共享集群环境

但需配合以下参数使用：

spark.dynamicAllocation.minExecutors=5spark.dynamicAllocation.maxExecutors=50spark.dynamicAllocation.initialExecutors=10

⚠️ 注意：动态分配在 Shuffle 依赖强的作业中可能引发数据重读，建议仅用于 ETL 类作业。

三、core 数量的调优策略

1. Core 数量与任务并行度的关系

Spark 的并行任务数 = min(分区数, executor 数 × 每个 executor 的 core 数)

例如：

• RDD 有 200 个分区
• 20 个 executor，每个 4 core → 最大并行任务数 = 80
• 实际并发任务数 = 80，剩余 120 个分区需排队执行

👉 结论：core 数量必须与数据分区数匹配，否则会出现“核心空闲，任务堆积”。

2. 如何确定最优分区数？

• 读取文件时：默认分区数 = 文件块数（HDFS Block Size 通常为 128MB）
• 手动调整：使用 repartition() 或 coalesce() 控制分区数

df.repartition(200) // 明确设置为 200 分区，匹配 50 executor × 4 core

✅ 黄金法则：每个 core 处理 1~2 个分区为最佳区间。

3. Core 与内存的配比关系

每个 core 需要足够的内存支持任务执行与缓存。推荐配置：

每个 executor 内存 = 16GB ~ 32GB每个 core 对应内存 = 4GB ~ 8GB

例如：8 core 的 executor → 建议分配 32GB 内存（4GB/core）

❗ 若内存不足，频繁触发 Spill（磁盘溢写），性能下降 50% 以上。

四、实战调优案例：某制造企业数字孪生数据处理

某企业构建数字孪生平台，每日处理 500GB 传感器时序数据，使用 Spark Streaming + Structured Streaming 进行聚合分析。

初始配置（低效）：

--num-executors 10--executor-cores 10--executor-memory 20g

问题：

• 每个 executor 10 core → GC 停顿时间超 3s
• 总并行任务数 = 100，但数据分区为 256 → 任务排队严重
• 频繁 OOM，任务失败率 12%

优化后配置：

--num-executors 24--executor-cores 5--executor-memory 24g--spark.sql.adaptive.enabled=true--spark.sql.adaptive.coalescePartitions.enabled=true

优化效果：

📊 关键改进：将 core 从 10 降至 5，executor 从 10 增至 24，使任务并行度与分区数匹配，同时降低单点内存压力。

五、内存管理与 GC 优化建议

Executor 内存分为三部分：

1. Executor Memory（堆内存）：用于任务执行、缓存、Shuffle
2. Off-Heap Memory（堆外内存）：用于 Netty、序列化等
3. Overhead Memory：JVM 开销、线程栈等（默认为 executor memory 的 10%，最小 384MB）

推荐配置：

--executor-memory 24g--executor-memory-overhead 4g--conf spark.memory.fraction=0.6--conf spark.memory.storageFraction=0.5

• spark.memory.fraction=0.6：60% 堆内存用于执行与存储
• spark.memory.storageFraction=0.5：一半存储内存用于缓存（如 persist）

🔍 对于大量缓存的数字孪生模型，可适当提高 storageFraction 至 0.6~0.7。

六、网络与 Shuffle 优化

Shuffle 是 Spark 性能瓶颈的重灾区。合理配置可显著减少网络传输：

--conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize=64MB--conf spark.sql.adaptive.localShuffleReader.enabled=true--conf spark.shuffle.service.enabled=true--conf spark.network.timeout=600s

• targetPostShuffleInputSize：控制合并后每个分区的大小，避免小文件过多
• localShuffleReader：启用本地读取，减少跨节点传输（适用于数据本地性高的场景）

七、监控与调优工具推荐

📌 每次调优后，务必记录：任务耗时、GC 时间、Shuffle 数据量、失败率，形成调优基线。

八、常见误区与避坑指南

九、总结：executor 与 core 调优五步法

1. 评估集群资源：统计可用 core 与内存总量
2. 确定分区数：通过 df.rdd.getNumPartitions() 获取当前分区
3. 设定 core 数：每个 executor 4~8 core，避免 >8
4. 计算 executor 数：(总可用 core) ÷ (每个 executor core)，向下取整
5. 分配内存：每个 core 分配 46GB，预留 overhead（10%15%）

✅ 最佳实践组合：executor 数量 = 2040，core 数量 = 56，内存 = 24~32GB

十、持续优化：从调优到自动化

企业级数据平台应建立参数调优自动化机制：

• 使用 ML 模型预测不同数据规模下的最优 executor/core 组合
• 基于历史作业性能建立配置模板库
• 集成 CI/CD 流程，自动测试新配置的稳定性

🚀 让 Spark 资源配置从“人工试错”走向“智能推荐”，是构建高效数据中台的关键一步。

如果您正在构建企业级数据中台，或希望提升数字孪生系统的实时分析能力，申请试用&https://www.dtstack.com/?src=bbs，获取专业级 Spark 调优模板与集群监控方案。我们提供针对制造、能源、交通等行业的预配置参数包，助您快速落地高性能计算架构。

申请试用&https://www.dtstack.com/?src=bbs申请试用&https://www.dtstack.com/?src=bbs