作业性能
Spark参数调优实战指南：性能优化关键技术解析
知识百科 • 数栈君 发表了文章 • 0 个评论 • 151 次浏览 • 2025-07-07 10:48
Spark 参数调优实战指南：性能优化关键技术解析在大数据处理领域，Apache Spark 以其高效的计算能力和灵活性著称，被广泛应用于数据中台、数字孪生和数字可视化等场景。然而，Spark 的性能表现 heavily depends on 参数配置。合理的... ...查看全部
YARN Capacity Scheduler权重配置详解与优化技巧
知识百科 • 数栈君 发表了文章 • 0 个评论 • 133 次浏览 • 2025-06-29 11:37
YARN Capacity Scheduler权重配置详解与优化技巧 1. YARN Capacity Scheduler概述 YARN（Yet Another Resource Negotiator... ...查看全部
Spark Shuffle阶段小文件过多的参数调整与优化措施
知识百科 • 数栈君 发表了文章 • 0 个评论 • 271 次浏览 • 2025-06-19 22:45
在Spark大数据处理中，Shuffle阶段小文件过多的问题是一个常见的性能瓶颈。本文将深入探讨如何通过参数调整和优化措施来解决这一问题，从而提升Spark作业的整体性能。
1. Spark Shuffle阶段小文件过多的原因
在Spark的Shuffle阶... ...查看全部
Spark参数调优实战指南：性能优化关键技术解析
知识百科 • 数栈君 发表了文章 • 0 个评论 • 151 次浏览 • 2025-07-07 10:48
Spark 参数调优实战指南：性能优化关键技术解析在大数据处理领域，Apache Spark 以其高效的计算能力和灵活性著称，被广泛应用于数据中台、数字孪生和数字可视化等场景。然而，Spark 的性能表现 heavily depends on 参数配置。合理的... ...查看全部
YARN Capacity Scheduler权重配置详解与优化技巧
知识百科 • 数栈君 发表了文章 • 0 个评论 • 133 次浏览 • 2025-06-29 11:37
YARN Capacity Scheduler权重配置详解与优化技巧 1. YARN Capacity Scheduler概述 YARN（Yet Another Resource Negotiator... ...查看全部
Spark Shuffle阶段小文件过多的参数调整与优化措施
知识百科 • 数栈君 发表了文章 • 0 个评论 • 271 次浏览 • 2025-06-19 22:45
在Spark大数据处理中，Shuffle阶段小文件过多的问题是一个常见的性能瓶颈。本文将深入探讨如何通过参数调整和优化措施来解决这一问题，从而提升Spark作业的整体性能。
1. Spark Shuffle阶段小文件过多的原因
在Spark的Shuffle阶... ...查看全部
