博客 greenplum安装配置

greenplum安装配置

数栈君发表于 2024-07-24 14:27 720 0

一、配置服务器安装环境

1、修改服务器内核参数（所有节点）

编辑sysctl.conf，需要设置共享内存Greenplum数据库使用共享内存在属于同一postgres实例的postgres进程之间进行通信。kernel.shmall设置可以在系统范围内使用的共享内存总量（以页为单位）。kernel.shmmax设置单个共享内存段的最大大小（以字节为单位）。根据系统的物理内存和页面大小设置kernel.shmall和kernel.shmax值。通常，两个参数的值都应为系统物理内存的一半。使用操作系统变量_PHYS_PAGES和PAGE_SIZE设置参数。

Bash

vim /etc/sysctl.conf



kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

2、修改服务器文件限制参数文件（所有节点）

Bash

vim /etc/security/limits.conf



* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

3、关闭防火墙（所有节点）

Bash

systemctl stop firewalld

systemctl disable firewalld

4、设置selinux为disabled

Bash

vim /etc/selinux/config



selinux=disabled

5、创建用户和用户组

Bash

groupadd gpadmin      (创建用户组gpadmin)

useradd gpadmin -g gpadmin         (创建用户gpadmin由gpadmin用户组管理)

passwd gpadmin   (修改登录密码)

二、greenplum数据库的安装和部署

1、安装master节点

Bash

rpm -Uvh greenplum-db-5.20.0-rhe16-x86_64.rpm

greenplum将自动安装在/usr/local/greenplum-db-目录下

安装完成后，把greenplum安装目录权限授权给gpadmin用户：

Bash

chown -R gpadmin /usr/local/greenplum-db-<version>

chgrp -R gpadmin /usr/local/greenplum-db-<version>

2、安装其他节点

一个master节点的安装完成之后，我们要在其他节点安装greenplum。

首先，要以root用户执行gpseginstall命令，这个命令会将当前节点greenplum的安装文件复制到其他指定节点上

涉及的操作包括在：这些节点创建greenplum操作用户，设置默认密码，设置greenplum的安装目录权限，在节点间交换ssh key

具体方法如下：

（1）以root用户登录master节点，执行以下命令source命令应用环境变量

Bash

source /usr/local/greenplum-db-5.20.0/greenplum_path.sh

（2）创建一个文件名为hostfile_exkeys的文本文件,其中包含所有节点，比如master丶standby master丶segment节点的主机名（本次安装只安装master+segment节点）

Bash

vim hostfile_exkeys



master

seg1

seg2

（3）运行gpseginstall命令，使用-f选项指定包含各节点操作列表的文件，该命令会把greenplum二进制文件复制安装到其他节点，并且创建greenplum操作用户和密码。

Bash

gpseginstall -f hostfile_exkeys   （关键命令）

（4）完成上述步骤之后，需要验证是否已经正确安装greenplum。以gpadmin用户运行以下命令

Bash

source /usr/local/greenplum-db-5.20.0/greenplum_path.sh

然后，使用命令查看各节点是否已经安装greenplum

Bash

gpssh -f hostfile_exkeys -e ls -l $GPHOME

如果安装成功，不需要用户手动输入其他节点的登录密码，就会显示所有安装节点的安装目录，这些节点都应该有相同的安装目录，并且这些目录都属于goadmin用户。

如果要求输入登录密码，就需要重新执行ssh key交换命令

Bash

gpssh-exkeys -f hostfile_exkeys

3、初始化greenplum数据库

通常，要初始化一个greenplum数据库，首先要创建一个新的初始化配置文件，并根据实际情况修改相关参数；然后，使用gpinitsystem脚本来初始化数据库，该命令会在master节点丶standby节点，以及所有的segment节点上初始化数据库。初始化完成后，用户就可以使用greenplum数据库对数据进行各种操作

（1）vim一份配置文件

Bash

vim /home/gpadmin/gpconfigs/gpinitsystem_config

将下面参数添加进去，具体参数值请根据自己情况修改

Bash

ARRAY_NAME="Greenplum DW"

SEG_PREFIX=gpseg

PORT_BASE=6000 

declare -a DATA_DIRECTORY=(/data1/primary )

MASTER_HOSTNAME=master   --(注意是真实的host名)

MASTER_DIRECTORY=/data1/master 

MASTER_PORT=5432 

TRUSTED SHELL=ssh

CHECK_POINT_SEGMENTS=8

ENCODING=UNICODE

如果没有创建相关目录，可以使用gpssh命令批量创建，并修改所有者为goadmin用户（如果已经创好相应目录请忽略）

Bash

gpssh -f hostfile_exkeys -e mkdir -p /data1/primary

gpssh -f hostfile_exkeys -e chown gpadmin /data1/primary

gpssh -f hostfile_exkeys -e chgrp gpadmin /data1/primary

（2）初始化命令

Bash

cd~

gpinitsystem -c gpconfigs/gpinitsystem_config -h gpconfigs/hostfile_gpinitsystem

（3）设置gpadmin用户的环境变量，不然每次切换用户都得重新应用环境变量

Bash

vim /home/gpadmin/.bash_profile

source /usr/local/greenplum-db-5.20.0/greenplum_path.sh 

export MASTER_DATA_DIRECTORY=/data1/gpadmin/master/gpseg-1

export GPPORT=5432

export PGDATABASE=postgres

source /home/gpadmin/.bash_profile

三、测试登录preenplum

Bash

[gpadmin@master ~]$ *psql*

psql (8.3.23)

Type “help” for help.



postgres=# create table demo (id int) distributed by (id);

CREATE TABLE

postgres=# insert into demo values(1);

INSERT 0 1

《行业指标体系白皮书》下载地址：https://www.dtstack.com/resources/1057/?src=bbs

《数据治理行业实践白皮书》下载地址：https://www.dtstack.com/resources/1001/?src=bbs

《数栈V6.0产品白皮书》下载地址：https://www.dtstack.com/resources/1004/?src=bbs

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs

同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：https://github.com/DTStack

0条评论

上一篇：greenplum扩容

我要提问

分享经验

社区公告

大数据领域最专业的产品&技术交流社区，专注于探讨与分享大数据领域有趣又火热的信息，专业又专注的数据人园地

最新活动更多

greenplum安装配置

我要提问

分享经验

微信扫码获取数字化转型资料

钉钉扫码加入技术交流群