今天又get到一个小技能，collect_set函数

在 Hive 或兼容 SQL 引擎中，collect_set 是一个常见聚合函数，用于把分组内某个字段的值收集成集合，并自动去除重复元素。今天又 get 到一个小技能，collect_set 函数，适合用来理解列转集合、标签汇总和去重明细聚合等场景。

collect_set 的基本作用

collect_set(col) 会在每个分组内收集 col 的非空值，并返回去重后的数组或集合类型。常见写法如下：

SELECT user_id,
       collect_set(tag) AS tag_list
FROM user_tag
GROUP BY user_id;

如果同一个用户有多个重复 tag，结果中通常只保留一个。它适合生成用户标签集合、商品类目集合、访问页面集合等。

与 collect_list 的区别

collect_list 也会收集分组内字段值，但通常不去重，会保留重复元素。简单理解：需要去重时用 collect_set，需要保留原始出现次数时用 collect_list。

例如用户浏览记录中，同一个页面被访问多次。如果要知道用户访问过哪些页面，用 collect_set；如果要分析访问序列或次数，collect_list 或更细的明细数据更合适。

与 concat_ws 配合输出字符串

有时下游系统不方便处理数组类型，可以把 collect_set 的结果拼成字符串：

SELECT user_id,
       concat_ws(',', collect_set(tag)) AS tags
FROM user_tag
GROUP BY user_id;

这种写法适合报表展示，但要注意分隔符是否会出现在原始值中。如果 tag 本身可能包含逗号，后续解析会有歧义。

顺序问题

collect_set 强调集合语义，通常不保证元素顺序。如果业务需要稳定排序，应在后续处理时显式排序，或者选择更适合表达顺序的方案。不要依赖某次查询看到的数组顺序，因为执行计划、分布式任务和数据变化都可能影响结果。

使用注意事项

第一，分组粒度要清晰。按 user_id 分组和按 user_id、date 分组得到的集合含义完全不同。第二，大分组可能产生很大的集合，带来内存压力。第三，去重会掩盖重复次数，如果重复本身有业务意义，就不要直接使用 collect_set。

今天又get到一个小技能，collect_set函数，真正有用的地方在于把明细行汇总成可读集合。但在数据建模和指标计算中，仍要明确它表达的是“出现过哪些值”，而不是“出现了多少次”或“按什么顺序出现”。