集群调度
基于负载均衡的Tez DAG调度优化方案
知识百科 • 数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2025-11-11 20:16
基于负载均衡的Tez DAG调度优化方案在现代数据处理架构中，Tez（Twitter的开源分布式计算框架）作为一种高效的计算框架，被广泛应用于数据中台、数字孪生和数字可视化等领域。Tez通过其强大的DAG（有向无环图）调度能力，能够处理复杂的任务依赖关系，从而... ...查看全部
YARN集群中Spark小文件合并的资源参数优化配置
知识百科 • 数栈君 发表了文章 • 0 个评论 • 179 次浏览 • 2025-06-19 22:45
在YARN集群中，Spark小文件合并的资源参数优化配置是大数据运维中的关键环节。本文将深入探讨如何通过调整Spark和YARN的资源配置来优化小文件合并性能，从而提升整体作业效率。
1. Spark小文件合并的基本概念
在大数据处理场景中，小文件问题是一个... ...查看全部
基于负载均衡的Tez DAG调度优化方案
知识百科 • 数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2025-11-11 20:16
基于负载均衡的Tez DAG调度优化方案在现代数据处理架构中，Tez（Twitter的开源分布式计算框架）作为一种高效的计算框架，被广泛应用于数据中台、数字孪生和数字可视化等领域。Tez通过其强大的DAG（有向无环图）调度能力，能够处理复杂的任务依赖关系，从而... ...查看全部
YARN集群中Spark小文件合并的资源参数优化配置
知识百科 • 数栈君 发表了文章 • 0 个评论 • 179 次浏览 • 2025-06-19 22:45
在YARN集群中，Spark小文件合并的资源参数优化配置是大数据运维中的关键环节。本文将深入探讨如何通过调整Spark和YARN的资源配置来优化小文件合并性能，从而提升整体作业效率。
1. Spark小文件合并的基本概念
在大数据处理场景中，小文件问题是一个... ...查看全部
