各位看官大家好，今天给大家分享的又是一篇实战文章，希望大家能够喜欢。

目前「袋鼠云客户数据洞察平台」标签服务的群组按种类划分，可以分为三大类，分别是实时群组、动态群组以及静态群组。如果按创建方式划分则有两种，分别是通过圈群的方式创建以及通过上传本地文件进行维度匹配的方式创建得到本地群组，其中本地群组属于静态群组。

除了本地群组外的其他群组目前都是采用圈群的方式生成匹配 SQL，然后执行相应的 SQL 得到相应查询维度的数据并入库到群组表，这种方式比较方便，可以快速得到一个用户期望的群组。

如果用户上传的本地文件很小，那么比较简单，按单个文件直接上传解析即可。如果用户上传的文件很大，有50M，那么就需要采用分片的方式进行上传，本文和大家分享一下这两种文件上传的代码实现。

小文件上传的主要流程包括将文件上传到服务器，并获得文件的编码格式，文件上传完毕后，异步解析文件并得到本地群组。

将文件上传到 HDFS 并保存原始文件到 SFTP，上传到 HDFS 之后，通过 SQL 来与实体对应的大宽表进行数据匹配，最终生成本地群组。

小文件直接上传即可，代码如下，上传完成后，获取文件的编码格式，用于后续的文件解析。

当检测到上传的文件是最后一个分片文件的时候，待分片数据写入完成后，需要对服务器上的文件进行 md5 校验来保证文件数据的一致性。