一、Hive的优化1.key值问题-空KEY过滤有时join超时是因为某些key对应的数据太多，而相同key对应的数据都会发送到相同的reducer上，从而导致内存不够。此时我们应该仔细分析这些异常的key，很多情况下，这些key对应的数据是异常数据，我们需要...
数栈君 发表于2023-07-07 11:11
203
0
前言HDFS: 分布式文件存储系统特点: 吞吐量极高, 适合于进行批量数据处理的工作, 随机的读写能力比较差(压根不支持)但是, 在实际生产环境中, 有时候的数据体量比较大, 但是希望能够对数据进行随机的读写操作, 而且不能太慢了, 那此时怎么办呢?对于市场来...
数栈君 发表于2023-07-07 11:10
209
0
之前的文章中，我们已经为大家介绍了 ChengYing 的安装原理、产品包制作、产品线部署等内容，本篇将和大家介绍一个困扰许多开发者的内容——ChengYing 主机接入。帮助所有对 ChengYing 感兴趣的开发者更好地了解和使用一站式全自动化运维管家 C...
数栈君 发表于2023-07-07 10:40
248
0
前言接着上次的Doris系列继续和大家分享，上一次主要和大家分享了Doris系列之动态分区操作，今天和大家分享一下Doris系列之数据导出操作。一、数据导出概述数据导出（Export）是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的...
数栈君 发表于2023-07-06 11:52
557
0
mysql备份或者导出表结构与数据，可以使用mysqldump命令，前提需要找一台安装过mysql的服务器上才能执行；直接使用mysqldump备份数据库，存在问题：备份完成之前，会把所有的表锁住，导致无法写入;可以带着--single-transaction...
数栈君 发表于2023-07-06 11:52
411
0
一、基本原理备份（Backup）备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。Backup命令为异步操作，提交成功后需要通过 SHOW BACKUP 命令查看进度，仅支持备份 OLAP 类型的表。当用户提交 B...
数栈君 发表于2023-07-06 11:52
488
0
一、基本原理备份（Backup）备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。Backup命令为异步操作，提交成功后需要通过 SHOW BACKUP 命令查看进度，仅支持备份 OLAP 类型的表。当用户提交 B...
数栈君 发表于2023-07-06 11:52
638
0
Doris 支持将当前数据以文件的形式，通过 broker 备份到远端存储系统中。之后可以通过 恢复 命令，从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能，Doris可以支持将数据定期的进行快照备份。也可以通过这个功能，在不同集群间进行数据迁...
数栈君 发表于2023-07-06 11:51
270
0
一、基本原理备份（Backup）备份操作是将指定表或分区的数据，直接以 Doris 存储的文件的形式，上传到远端仓库中进行存储。Backup命令为异步操作，提交成功后需要通过 SHOW BACKUP 命令查看进度，仅支持备份 OLAP 类型的表。当用户提交 B...
数栈君 发表于2023-07-06 11:51
418
0
CDP 717环境使用kafka-console-consumer 命令消费kafka报错如下23/03/28 09:19:07 WARN clients.NetworkClient: [Consumer clientId=consumer-console-c...
数栈君 发表于2023-07-06 11:50
623
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
