大数据技术漫谈：Hadoop 到 Flink

大数据技术的发展，本质上是在解决三个问题：海量数据如何存储，复杂计算如何完成，结果如何稳定服务业务。从 Hadoop、Storm、Spark、HBase 到 Hive、Flink、Lindorm，每种技术都不是孤立出现的，而是围绕不同阶段的数据规模、时效性和访问方式演进。

Hadoop：批处理时代的基础

Hadoop 以 HDFS 和 MapReduce 为代表，解决了廉价机器上存储和批量计算海量数据的问题。它适合离线日志分析、历史数据加工和大规模 ETL。MapReduce 的优势是稳定、容错强，缺点是开发效率和计算延迟相对较低。

即使今天很多计算任务转向 Spark 或 Flink，HDFS、YARN 等生态组件仍然是许多大数据平台的基础设施。

Hive：让数据仓库进入大数据体系

Hive 把类 SQL 能力带入 Hadoop 生态，让分析人员可以用 SQL 处理大规模数据。它适合离线数仓、分区表管理、宽表加工和周期性报表。Hive 的核心价值不是实时，而是用熟悉的 SQL 抽象降低大数据处理门槛。

在实际项目中，Hive 表设计、分区策略、小文件治理和任务调度往往比单条 SQL 更影响整体效率。

Storm、Spark 与 Flink：计算框架的演进

Storm 较早用于流式计算，强调低延迟事件处理。Spark 则通过内存计算改善了批处理效率，并提供 Spark SQL、Streaming、MLlib 等能力。Flink 进一步强化了有状态流处理、事件时间、窗口和一致性语义，适合实时数仓、实时指标和复杂流式任务。

技术选型时，不应只看框架热度。离线批量加工可以考虑 Hive 或 Spark；交互式分析可结合 Spark SQL、Trino 等引擎；强实时、有状态、乱序处理较多的场景，Flink 往往更合适。

HBase 与 Lindorm：面向在线访问的数据服务

HBase 常用于海量明细数据的随机读写，适合按 rowkey 快速查询、写入量大、结构较稀疏的场景。它不是传统关系型数据库，表设计需要围绕访问模式规划 rowkey、列族和热点问题。

Lindorm 等多模数据库产品通常面向宽表、时序、搜索等多类访问场景。使用这类系统时，也要先明确读写模式、数据规模、查询延迟和运维成本，再决定是否适合。

从工具堆叠到体系设计

大数据技术漫谈不能停留在名词罗列。真正的架构设计要回答：数据从哪里来，多久到达，存在哪里，如何加工，谁来消费，失败如何恢复，成本如何控制。Hadoop、Storm、Spark、HBase、Hive、Flink、Lindorm 各自提供能力，但最终价值来自稳定的数据链路和清晰的数据模型。