一、列转行行转列上次分享过了,主要是用 collect_set(去重)/collect_list(不去重)+group by今天继续讲列转行,主要是用爆炸函数lateral view explode()--准备数据 10 CLARK|KING|MI...
一、自定义函数当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。根据用户自定义函数类别分为以下三种:1、UDF(User-Defined-Function)一进一出类似于...
一、Hive的压缩方式1、Hive底层默认是MaReduce,Hive的压缩实际上就是MapReduce的压缩2、MapReduce压缩分为Map端结果文件压缩和Reduce端结果文件压缩use myhive;-- 开启Map输出阶段压缩set hive.ex...
一、Hive的优化1.key值问题-空KEY过滤有时join超时是因为某些key对应的数据太多,而相同key对应的数据都会发送到相同的reducer上,从而导致内存不够。此时我们应该仔细分析这些异常的key,很多情况下,这些key对应的数据是异常数据,我们需要...
前言HDFS: 分布式文件存储系统特点: 吞吐量极高, 适合于进行批量数据处理的工作, 随机的读写能力比较差(压根不支持)但是, 在实际生产环境中, 有时候的数据体量比较大, 但是希望能够对数据进行随机的读写操作, 而且不能太慢了, 那此时怎么办呢?对于市场来...
之前的文章中,我们已经为大家介绍了 ChengYing 的安装原理、产品包制作、产品线部署等内容,本篇将和大家介绍一个困扰许多开发者的内容——ChengYing 主机接入。帮助所有对 ChengYing 感兴趣的开发者更好地了解和使用一站式全自动化运维管家 C...
前言接着上次的Doris系列继续和大家分享,上一次主要和大家分享了Doris系列之动态分区操作,今天和大家分享一下Doris系列之数据导出操作。一、数据导出概述数据导出(Export)是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的...
mysql备份或者导出表结构与数据,可以使用mysqldump命令,前提需要找一台安装过mysql的服务器上才能执行;直接使用mysqldump备份数据库,存在问题:备份完成之前,会把所有的表锁住,导致无法写入;可以带着--single-transaction...
一、基本原理备份(Backup)备份操作是将指定表或分区的数据,直接以 Doris 存储的文件的形式,上传到远端仓库中进行存储。Backup命令为异步操作,提交成功后需要通过 SHOW BACKUP 命令查看进度,仅支持备份 OLAP 类型的表。当用户提交 B...
一、基本原理备份(Backup)备份操作是将指定表或分区的数据,直接以 Doris 存储的文件的形式,上传到远端仓库中进行存储。Backup命令为异步操作,提交成功后需要通过 SHOW BACKUP 命令查看进度,仅支持备份 OLAP 类型的表。当用户提交 B...