Hive分区

知识百科 • 数栈君发表了文章 • 0 个评论 • 33 次浏览 • 2026-03-11 08:54 • 来自相关话题

在大数据处理领域，Spark 作为一款高性能的分布式计算框架，广泛应用于数据中台、数字孪生和数字可视化等场景。然而，Spark 在处理大规模数据时，常常会面临一个棘手的问题：小文件过多。小文件的大量存在会导致资源浪费、性能下降，甚至影响整个数据处理流程的效率。... ...查看全部

技术共享 • 数栈君发表了文章 • 0 个评论 • 1422 次浏览 • 2024-03-08 09:52 • 来自相关话题

MergeTree是Clickhouse中最核心的存储引擎。上一篇文章中，我们介绍了MergeTree的基本结构。1、MergeTree由分区（partiton）和part组成。2、Part是MergeTree可操作的基本数据单元。Insert数据时，会生成新... ...查看全部

知识百科 • 数栈君发表了文章 • 0 个评论 • 3067 次浏览 • 2024-02-29 10:17 • 来自相关话题

引言Apache Hive作为大数据生态系统中的重要组件，以其SQL-like查询语言和数据仓库功能闻名。随着版本的迭代升级，Hive 3.x系列带来了一系列重大改进与新特性，显著提升了Hive在数据处理、查询性能以及管理方面的效能。本文将深入解读Hive 3... ...查看全部

知识百科 • 数栈君发表了文章 • 0 个评论 • 3334 次浏览 • 2024-02-29 10:16 • 来自相关话题

引言： Apache Hive作为一种基于Hadoop的数据仓库工具，以其强大的数据处理能力和对SQL查询的支持，已成为大数据领域中不可或缺的一部分。其中，动态分区（Dynamic Partitioning）功能是Hive的一个重要特性，它在处理大量分区数据时... ...查看全部

网友分享 • 数栈君发表了文章 • 0 个评论 • 792 次浏览 • 2024-01-10 14:05 • 来自相关话题

一、理论基础1、Hive分区背景在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、Hive分区实质因为Hive实际是存储在HDFS上的抽象，Hiv... ...查看全部

知识百科 • 数栈君发表了文章 • 0 个评论 • 33 次浏览 • 2026-03-11 08:54 • 来自相关话题

技术共享 • 数栈君发表了文章 • 0 个评论 • 1422 次浏览 • 2024-03-08 09:52 • 来自相关话题

知识百科 • 数栈君发表了文章 • 0 个评论 • 3067 次浏览 • 2024-02-29 10:17 • 来自相关话题

知识百科 • 数栈君发表了文章 • 0 个评论 • 3334 次浏览 • 2024-02-29 10:16 • 来自相关话题

网友分享 • 数栈君发表了文章 • 0 个评论 • 792 次浏览 • 2024-01-10 14:05 • 来自相关话题

更多...