Hive 表小文件合并优化
Hive 表因频繁写入产生大量小文件导致查询性能下降和 NameNode 压力，需要系统性合并方案
Hive 小文件问题的本质是 Map 任务数膨胀——每个小文件都会触发一个 Map 任务，当文件数量达到数万甚至数十万时，NameNode 元数据压力和查询延迟都会急剧上升。解决思路是控制合并目标，将文件数量降到合理范围。
小文件产生的常见原因
分区表 ETL 多次写入是主要原因。每次 INSERT 或 MERGE 操作都可能产生新文件，特别是动态分区场景下，每个分区组合都会生成独立文件。另一个原因是分批到达的上游数据，如果每批数据量较小但写入频繁，文件碎片化会快速积累。
三种合并策略对比
ALTER TABLE CONCATENATE 适用于 ACID 表和 ORC 格式，直接在存储层合并小文件，不需要重写数据。执行命令后 Hive 会自动合并同一分区内小于 hive.merge.maxFiles 的文件。优点是操作简单、对业务影响小，缺点是只支持特定格式。
Spark 批量重写 通过 INSERT OVERWRITE 重写整个分区或表，可以在合并过程中顺便优化数据分布和压缩格式。适合需要同时调整分区策略的场景，但会占用较多计算资源。
自动合并机制 在写入时自动触发，通过配置 hive.merge.mapfiles、hive.merge.mapredfiles、hive.merge.smallfiles.avgsize 和 hive.merge.size.per.task 四个参数控制合并行为。当输出文件小于 smallfiles.avgsize 且总大小小于 size.per.task 时，Hive 会自动合并。
离线开发 BatchWorks
支持多模态、覆盖集成开发调度运维的一站式离线数据开发平台
参数配置建议
生产环境推荐配置：hive.merge.mapfiles=true、hive.merge.mapredfiles=true、hive.merge.smallfiles.avgsize=256MB、hive.merge.size.per.task=256MB。对于大表，可以将 size.per.task 调整为 512MB 以减少 Map 任务数。
性能对比
实测数据显示，CONCATENATE 比 MapReduce 合并快 5-10 倍，因为它避免了数据重写。但 CONCATENATE 只能在同分区内合并，跨分区合并仍需使用 INSERT OVERWRITE。
数据治理
统一标准、质量、安全与资产管理，沉淀高质量数据集，支撑经营决策、监管合规与 AI 应用。
失败模式
ACID 表误用 CONCATENATE 会导致事务日志异常。repartition 过度会引发 OOM，建议单个 Map 任务处理数据量控制在 256MB-512MB。下游依赖未感知合并操作可能导致数据不一致。
调度与平台化管理
对于大规模集群，手动执行合并脚本难以维护。使用离线开发平台（如 BatchWorks）可以将合并任务纳入调度系统，支持增量合并流水线、失败重试和监控告警，降低运维成本。
下一步建议： 先用 SHOW PARTITIONS 和文件大小统计定位问题分区，然后根据表格式选择合并策略，最后将合并任务配置为定时调度。
