shuffle memory manager
Spark小文件合并优化：参数配置与性能调优
知识百科 • 数栈君 发表了文章 • 0 个评论 • 148 次浏览 • 2025-10-16 14:38
Spark 小文件合并优化：参数配置与性能调优在大数据处理领域，Spark 以其高效的计算能力和灵活性著称，但其性能往往受到小文件问题的严重影响。小文件指的是在分布式存储系统（如 HDFS）中，文件大小远小于 HDFS 块大小（默认为 128MB 或 256M... ...查看全部
Spark小文件合并优化：参数配置与性能调优
知识百科 • 数栈君 发表了文章 • 0 个评论 • 148 次浏览 • 2025-10-16 14:38
Spark 小文件合并优化：参数配置与性能调优在大数据处理领域，Spark 以其高效的计算能力和灵活性著称，但其性能往往受到小文件问题的严重影响。小文件指的是在分布式存储系统（如 HDFS）中，文件大小远小于 HDFS 块大小（默认为 128MB 或 256M... ...查看全部
