一、配置服务器安装环境1、修改服务器内核参数（所有节点）编辑sysctl.conf，需要设置共享内存Greenplum数据库使用共享内存在属于同一postgres实例的postgres进程之间进行通信。kernel.shmall设置可以在系统范围内使用的共享内...
数栈君 发表于2 天前
16
0
一、纵向扩展1、执行命令，生成参数文件Bash[gpadmin@gw_mdw1 ~]$ gpexpand -f seg_hosts -D test 20190327:23:18:01:007122 gpexpand:gw_mdw1:gpadmin-[INFO]...
数栈君 发表于2 天前
12
0
binlog 是记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志。一、手动删除直接在 /var/lib/mysql 路径下，将 binlog.0* 删除掉（注意不要删...
数栈君 发表于2 天前
13
0
一、master服务器配置1）用户添加及授权在master 服务器授权一个账户，拥有slave权限12mysql> GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'repl'@'备库ip' ID...
数栈君 发表于2 天前
13
0
Kafka发送消息是异步发送的，所以我们不知道消息是否发送成功，所以会可能造成消息丢失。而且Kafka架构是由生产者-服务器端-消费者三种组成部分构成的。要保证消息不丢失，那么主要有三种解决方法。生产者(producer)端处理生产者默认发送消息代码如下：i...
数栈君 发表于2 天前
13
0
kafkastream的介绍：Kafka Streams是一个开源的流处理库，用于构建实时数据流应用程序和微服务。它是Apache Kafka项目的一部分，是一种基于事件驱动的流处理解决方案。Kafka Streams提供了高级别的API，使开发人员能够以简单...
数栈君 发表于2 天前
17
0
消息队列是现代分布式系统中常用的通信机制，用于在不同的服务之间传递消息。在Spring Cloud框架中，我们可以利用RabbitMQ实现强大而可靠的消息队列系统。本篇博客将详细介绍如何在Spring Cloud项目中集成RabbitMQ，并创建一个简单的消息...
数栈君 发表于2 天前
11
0
内置函数 Spark SQL内置了大量的函数，位于API org.apache.spark.sql.functions中。其中大部分函数与Hive中的相同。 使用内置函数有两种方式：一种是通过编程的方式使用；另一种是在SQL语句中使用。- 以编...
数栈君 发表于2 天前
16
0
在Hive中，删除部分数据是一个常见的操作，特别是当我们需要清除不再需要的数据或者进行数据更新时。Hive提供了多种方式来删除部分数据，本文将介绍其中几种常用的方法。一、hive删除数据1.1、删除整个表最简单的方法是删除整个表，这将删除表中的所有数据。可以使...
数栈君 发表于2 天前
23
0
近年来，新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮，持续冲击并革新着企业数字化转型的观念视野，昭示着一个以数据为核心驱动力的新时代正稳步启幕。面对这些引领经济转型的新兴概念，为了更好地服务于客户并提供切实可行的实践指导，自3月20日起，袋鼠...
数栈君 发表于3 天前
139
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
