Spark Extension
Spark web UI 介绍
技术共享 • 数栈君 发表了文章 • 0 个评论 • 773 次浏览 • 2024-09-23 15:12
前言在日常的开发工作中，我们总会遇到 Spark 应用运行失败、或是执行效率未达预期的情况。对于这样的问题，想找到根本原因，可以通过 Spark UI 提供的"体检报告"中的一些信息来获取最直接、最直观的线索，本篇就是介绍如何解读Spark UI “体检报告”... ...查看全部
快手自研Spark向量化引擎正式发布，性能提升200%
技术共享 • 数栈君 发表了文章 • 0 个评论 • 840 次浏览 • 2024-09-23 14:52
Blaze 是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速Spark SQL的查询处理。Blaze在快手内部上线的数仓生产作业也观测到了平均30%的算力提升，实现了较大的降本增效。本文将深... ...查看全部
Spark web UI 介绍
技术共享 • 数栈君 发表了文章 • 0 个评论 • 773 次浏览 • 2024-09-23 15:12
前言在日常的开发工作中，我们总会遇到 Spark 应用运行失败、或是执行效率未达预期的情况。对于这样的问题，想找到根本原因，可以通过 Spark UI 提供的"体检报告"中的一些信息来获取最直接、最直观的线索，本篇就是介绍如何解读Spark UI “体检报告”... ...查看全部
快手自研Spark向量化引擎正式发布，性能提升200%
技术共享 • 数栈君 发表了文章 • 0 个评论 • 840 次浏览 • 2024-09-23 14:52
Blaze 是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速Spark SQL的查询处理。Blaze在快手内部上线的数仓生产作业也观测到了平均30%的算力提升，实现了较大的降本增效。本文将深... ...查看全部
