DataFusion框架
大数据大厂之 DataFusion：超越传统的大数据集成与处理创新工具
技术共享 • 数栈君 发表了文章 • 0 个评论 • 542 次浏览 • 2024-10-28 14:52
在之前对大数据技术的探索历程中，我们见证了诸多工具的独特魅力。Druid 为大数据实时分析精心打造的查询性能提升方案，如同黑暗中的灯塔，为数据查询照亮了高效之路；Polars 在大数据处理领域的创新与传承，恰似一颗划破夜空的流星，在传统与现代之间划出一道亮丽的... ...查看全部
快手自研Spark向量化引擎正式发布，性能提升200%
技术共享 • 数栈君 发表了文章 • 0 个评论 • 840 次浏览 • 2024-09-23 14:52
Blaze 是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速Spark SQL的查询处理。Blaze在快手内部上线的数仓生产作业也观测到了平均30%的算力提升，实现了较大的降本增效。本文将深... ...查看全部
大数据大厂之 DataFusion：超越传统的大数据集成与处理创新工具
技术共享 • 数栈君 发表了文章 • 0 个评论 • 542 次浏览 • 2024-10-28 14:52
在之前对大数据技术的探索历程中，我们见证了诸多工具的独特魅力。Druid 为大数据实时分析精心打造的查询性能提升方案，如同黑暗中的灯塔，为数据查询照亮了高效之路；Polars 在大数据处理领域的创新与传承，恰似一颗划破夜空的流星，在传统与现代之间划出一道亮丽的... ...查看全部
快手自研Spark向量化引擎正式发布，性能提升200%
技术共享 • 数栈君 发表了文章 • 0 个评论 • 840 次浏览 • 2024-09-23 14:52
Blaze 是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速Spark SQL的查询处理。Blaze在快手内部上线的数仓生产作业也观测到了平均30%的算力提升，实现了较大的降本增效。本文将深... ...查看全部
