第1章 配置要求与环境设置
1.1 Linux操作系统级参数
分别修改各主机hosts文件(3台主机完全相同)
vi /etc/hosts
127.0.0.1 localhost
192.168.10.177 mdw-ext
192.7.1.251 mdw-1 mdw
192.7.2.251 mdw-2
192.7.3.251 mdw-3
192.7.4.251 mdw-4
192.7.1.1 sdw1-1 sdw1
192.7.2.1 sdw1-2
192.7.3.1 sdw1-3
192.7.4.1 sdw1-4
192.7.1.2 sdw2-1 sdw2
192.7.2.2 sdw2-2
192.7.3.2 sdw2-3
192.7.4.2 sdw2-4
1.2 网络配置
确认各主机网卡配置正确
/etc/sysconfig/network suse
/etc/sysconfig/network-scripts redhat
各网卡分别对应文件ifcfg_eth[0,1,2,3]
| Master |
| Segment1 |
| Segment2 |
|
Eth0 | 192.7.1.251 | mdw-1 mdw | 192.7.1.1 | sdw1-1 sdw | 192.7.1.2 | sdw2-1 sdw2 |
Eth1 | 192.7.2.251 | mdw-2 | 192.7.2.1 | sdw1-2 | 192.7.2.2 | sdw2-2 |
Eth2 | 192.7.3.251 | mdw-3 | 192.7.3.1 | sdw1-3 | 192.7.3.2 | sdw2-3 |
Eth3 | 192.7.4.251 | mdw-4 | 192.7.4.1 | sdw1-4 | 192.7.4.2 | sdw2-4 |
Ext | 192.168.10.177 |
|
|
|
|
|
1.3 Linux操作系统级参数
1.3.1 修改/etc/sysctl.conf文件
Greenplum每台Master和Segment主机/etc/sysctl.conf中的下列参数
kernel.sem = 250 64000100 512
kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 64000100 512
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route =0
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.conf.default.arp_filter = 1
net.core.netdev_max_backlog=10000
vm.overcommit_memory=2
1.3.2 修改/etc/security/limits.conf文件
Greenplum每台Master和Segment主机/etc/security/limits.conf中的如下参数：
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
1.3.3 设置磁盘预读/etc/init.d/after.local (redhat : /etc/rc.local )
DELL
配置文件中放置blockdev --setra 16384 /dev/sd*
重启服务器，检查 blockdev --getra /dev/sd*
HP
配置文件中放置 blockdev --setra 16384/dev/cciss/c?d?*
重启服务器，检查 blockdev --getra/dev/cciss/c?d?*
1.3.4 修改io算法/boot/grub/menu.lst
结尾处添加elevator=deadline
重启后，执行cat /sys/block/*/queue/scheduler，返回内容中含有
[deadline]
1.3.5 配置ntp服务
1.3.6 安装xfs文件系统
master节点主机上，将/dev/sdb磁盘格式化成xfs文件信息，并mount到/data下
segment节点主机上，将/dev/sdb磁盘格式化成xfs文件信息，并mount到/data1下
segment节点主机上，将/dev/sdc磁盘格式化成xfs文件信息，并mount到/data2下
查看磁盘文件系统及使用情况df -Th
master节点
格式化磁盘为xfs文件系统
mkfs -t xfs /dev/sdb
mkdir -p /data/master
添加mount选项到/etc/fstab文件
/dev/sdb /data xfs logbufs=8,noatime,nodiratime 1 1
segment节点
mkfs -t xfs /dev/sdc
mkdir –p /data1/primary
mkdir –p /data2/mirror
添加mount选项到/etc/fstab文件
/dev/sdb /data1 xfs logbufs=8,noatime,nodiratime 1 1
/dev/sdc /data2 xfs logbufs=8,noatime,nodiratime 1 1
1.4 用户及其主目录
| 用户 | home目录 | 安装目录 | 数据目录 |
Master | gpadmin | /home/gpadmin | /usr/local/greenplum-db | /data/master |
Segment1 | gpadmin | /home/gpadmin | /usr/local/greenplum-db | /data1/primary |
Segment2 | gpadmin | /home/gpadmin | /usr/local/greenplum-db | /data1/primary |
在master节点上创建gpadmin用户及数据目录
groupadd gpadmin
useradd -g gpadmin -d /home/gpadmin
mkdir /data/master
chown -R gpadmin:gpadmin /data/master
修改/home/gpadmin/.bash_profile文件
.bash_profile linux系统
.bashrc suse系统
添加如下内容
source/usr/local/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
在所有segment节点上创建gpadmin用户及数据目录
方法一：分别在各个segment节点上创建gpadmin用户和数据目录
ssh sdw1
groupadd gpadmin
useradd -g gpadmin -d /home/gpadmin
passwd gpadmin
mkdir /data1/ primary
chown -R gpadmin:gpadmin /data1/primary
ssh sdw2
groupadd gpadmin
useradd -g gpadmin -d /home/gpadmin
passwd gpadmin
mkdir /data1/ primary
chown -R gpadmin:gpadmin /data1/primary
方法二：使用gp命令安装。
1、 使用gp命令安装之前需要先在master上安装好gp数据库软件。
2、 创建root用户等效性
创建文件all_hosts包含所有主机相关网卡信息
vi all_hosts
mdw-1
mdw-2
mdw-3
mdw-4
sdw1-1
sdw1-2
sdw1-3
sdw1-4
sdw2-1
sdw2-2
sdw2-3
sdw2-4
执行环境变量
source /usr/local/greenplum-db/greenplum_path.sh
交换密钥
gpssh-exkeys -f all_hosts
等效性验证
gpssh -f all_hosts
3、 gpssh到所有节点统一执行
创建文件all_segs其中只包含各节点主机名
vi all_segs
sdw1
sdw2
gpssh -f all_segs
groupadd gpadmin
useradd -g gpadmin -d /home/gpadmin
passwd gpadmin
mkdir /data1/ primary
chown -R gpadmin:gpadmin /data1/primary
4、 创建gpadmin用户等效性
在master节点上执行以下命令
su - gpadmin
交换密钥
gpssh-exkeys -f all_hosts
等效性验证
gpssh -f all_hosts
第2章 系统校验
2.1 校验操作系统
创建文件vi hostfile_gpcheck
mdw
sdw1
sdw2
root 用户执行
source/usr/local/greenplum-db/greenplum_path.sh
gpcheck -f /home/gpadmin/gpconfigs/hostfile_gpcheck-m mdw
2.2 校验系统性能
•Network Performance (gpnetbench*)
按subnet分别测试每个网段
vi hostfile_gpchecknet
mdw-1
sdw1-1
sdw2-1
gpcheckperf -f hostfile_gpchecknet -r N -d /tmp
•Disk I/O Performance (dd test)
•Memory Bandwidth (stream test)
创建文件vi hostfile_gpcheckperf
sdw1
sdw2
$ gpcheckperf -f hostfile_gpcheckperf -rds -D -d /data1/primary -d/data2/primary \
-d /data1/mirror -d /data2/mirror
第3章 Linux环境安装指南
3.1 在master节点上安装数据库软件
root用户解压安装包并执行安装
unzip greenplum-db-4.1.1.3-build-4-RHEL5-x86_64
./greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin
默认安装路径为/usr/local/greenplum-db
3.2 安装数据库软件到所有segment节点
# gpseginstall -f all_segs
3.3 初始化gp数据库
在安装目录（/usr/local/greenplum-db/docs/cli_help/gpconfigs）下找到初始化配置模版（gpinitsystem_config），修改模版中参数为如下
ARRAY_NAME="EMC Greenplum DW"
SEG_PREFIX=gpseg
PORT_BASE=40000
declare -a DATA_DIRECTORY=(/data1/primary/data1/primary /data1/primary /data1/primary)
MASTER_HOSTNAME=mdw
MASTER_DIRECTORY=/data/master
MASTER_PORT=5432
TRUSTED SHELL=ssh
CHECK_POINT_SEGMENT=8
ENCODING=UNICODE
#MIRROR_PORT_BASE=50000 # optional
#REPLICATION_PORT_BASE=41000 # optional
#MIRROR_REPLICATION_PORT_BASE=51000 #optional
#declare -a MIRROR_DATA_DIRECTORY=(/data2/mirror /data2/mirror/data2/mirror /data2/mirror) # optional
MACHINE_LIST_FILE=/home/gpadmin/gpconfigs/all_segs
gpadmin用户执行如下命令初始化数据库
gpinitsystem -c gpinitsystem_config
3.4 修改用户认证和并发限制
vi /data/master/gpseg-1/ pg_hba.conf
添加如下内容，允许任意网段的通过任意用户通过密码验证连接任意数据库（或者根据安全需要修改成其他认证方式）
host all all 0.0.0.0/0 md5
vi /data/master/gpseg-1/ postgresql.conf
master节点
max_connections=100
max_prepared_transactions=100
segment节点
max_connections=500
max_prepared_transactions=100
重启数据库
第4章 Performance Monitor的安装
4.1 安装PerformanceMonitor database 并且 激活 PerformanceMonitor agents
在gpadmin用户下执行如下命令并重启数据库
$ su – gpadmin
$gpperfmon_install --enable --password p@$$word --port 5432
$ gpstop -r
查看gpperfmon数据库是否正常创建
$ ps -ef | grep gpmmon
$ psql gpperfmon -c 'SELECT * FROMsystem_now;'
4.2 安装 PerformanceMonitor Console
unzip greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.zip
./greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.bin
默认安装路径为/usr/local/greenplum-perfmon-web-4.1.1.4-build-4
# chown -R gpadmin:gpadmin /usr/local/greenplum-perfmon-web-4.1.1.4-build-4
将环境变量加到/home/gpadmin/.bashrc中
source /usr/local/greenplum-perfmon-web-4.1.1.4-build-4/gpperfmon_path.sh
执行如下命令根据提示进行控制台配置
$ gpperfmon –setup
$ gpperfmon --start ["instancename"]
$ gpperfmon --stop ["instancename"]
$ gpperfmon --restart ["instancename"]
$ gpperfmon --status ["instancename"]
Access website
