Hive的表操作5

一、列转行行转列上次分享过了,主要是用 collect_set(去重)/collect_list(不去重)+group by今天继续讲列转行,主要是用爆炸函数lateral view explode()--准备数据 10 CLARK|KING|MI...

   数栈君  发表于2023-07-07 11:11  201  0

Hive的表操作6

一、自定义函数当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。根据用户自定义函数类别分为以下三种:1、UDF(User-Defined-Function)一进一出类似于...

   数栈君  发表于2023-07-07 11:11  178  0

Hive的表操作7

一、Hive的压缩方式1、Hive底层默认是MaReduce,Hive的压缩实际上就是MapReduce的压缩2、MapReduce压缩分为Map端结果文件压缩和Reduce端结果文件压缩use myhive;-- 开启Map输出阶段压缩set hive.ex...

   数栈君  发表于2023-07-07 11:11  162  0

Hive的表操作8

一、Hive的优化1.key值问题-空KEY过滤有时join超时是因为某些key对应的数据太多,而相同key对应的数据都会发送到相同的reducer上,从而导致内存不够。此时我们应该仔细分析这些异常的key,很多情况下,这些key对应的数据是异常数据,我们需要...

   数栈君  发表于2023-07-07 11:11  168  0

HBase基础

前言HDFS: 分布式文件存储系统特点: 吞吐量极高, 适合于进行批量数据处理的工作, 随机的读写能力比较差(压根不支持)但是, 在实际生产环境中, 有时候的数据体量比较大, 但是希望能够对数据进行随机的读写操作, 而且不能太慢了, 那此时怎么办呢?对于市场来...

   数栈君  发表于2023-07-07 11:10  168  0

一站式运维管家 ChengYing 主机接入原理解析

之前的文章中,我们已经为大家介绍了 ChengYing 的安装原理、产品包制作、产品线部署等内容,本篇将和大家介绍一个困扰许多开发者的内容——ChengYing 主机接入。帮助所有对 ChengYing 感兴趣的开发者更好地了解和使用一站式全自动化运维管家 C...

   数栈君  发表于2023-07-07 10:40  197  0

大数据Doris(五十二):Doris数据导出案例和注意事项

前言接着上次的Doris系列继续和大家分享,上一次主要和大家分享了Doris系列之动态分区操作,今天和大家分享一下Doris系列之数据导出操作。一、数据导出概述数据导出(Export)是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的...

   数栈君  发表于2023-07-06 11:52  490  0

大数据Doris(五十三):MySQL Dump 导出

mysql备份或者导出表结构与数据,可以使用mysqldump命令,前提需要找一台安装过mysql的服务器上才能执行;直接使用mysqldump备份数据库,存在问题:备份完成之前,会把所有的表锁住,导致无法写入;可以带着--single-transaction...

   数栈君  发表于2023-07-06 11:52  329  0

大数据Doris(五十四):BACKUP数据备份原理和语法

一、基本原理备份(Backup)备份操作是将指定表或分区的数据,直接以 Doris 存储的文件的形式,上传到远端仓库中进行存储。Backup命令为异步操作,提交成功后需要通过 SHOW BACKUP 命令查看进度,仅支持备份 OLAP 类型的表。当用户提交 B...

   数栈君  发表于2023-07-06 11:52  413  0

大数据Doris(五十五):BACKUP数据备份案例和注意事项

一、基本原理备份(Backup)备份操作是将指定表或分区的数据,直接以 Doris 存储的文件的形式,上传到远端仓库中进行存储。Backup命令为异步操作,提交成功后需要通过 SHOW BACKUP 命令查看进度,仅支持备份 OLAP 类型的表。当用户提交 B...

   数栈君  发表于2023-07-06 11:52  511  0
1720条数据,每页显示10条
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群