什么是DAMENG DSC 集群?
- Dameng Data Shared Cluster 达梦共享存储数据库集群,简称DMDSC,是达梦的并行集群,位于不同服务器系统的DM实例同时访问同一个DM数据库,节点之间通过私有网络进行通信,所有的控制文件、联机日志和数据文件存放在共享的设备上,能够被集群中的所有节点同时访问。
- DSC的优点主要在于高可用和负载均衡,一台机器宕机不影响应用访问数据库。
DMDSC 搭建
一、环境准备
硬件:两台相同配置机器,2G 内存,100G 本地磁盘,2 块网卡,另有一块共享磁盘
100G。
操作系统:RedHat Linux 64 位。
网络配置: eth0 网卡为 10.0.2.x 内网网段,两台机器分别为
10.0.2.101/10.0.2.102;eth1 为 192.168.56.x 外网网段,两台机器分别为
192.168.56.101/192.168.56.102。内网网段用于 MAL 通讯。
DM 各种工具位于目录:/opt/dmdbms/bin。
配置文件位于目录:/home/data。
二、搭建 2 节点 DMDSC(DMASM)
- 在共享磁盘上裸设备划分
- 输入 fdisk /dev/sdb
- 依次输入 n > p > 1 >回车> +100M >回车,完成第一块磁盘划分
- 依次输入 n > p > 2 >回车> +100M >回车,完成第二块磁盘划分
- 依次输入 n > p > 3 >回车> +2048M >回车,完成第三块磁盘划分
- 依次输入 n > p > 4 >回车>回车>回车,完成第四块磁盘划分
- 编辑/etc/udev/rules.d/60-raw.rules 文件,增加以下语句:
ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdb2", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdb3", RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="sdb4", RUN+="/bin/raw /dev/raw/raw4 %N"
ACTION=="add", KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dinstall", MODE="660"
最后执行 start_udev,完成裸设备绑定
7) 可以通过 blockdev --getsize64 /dev/raw/raw1 命令查看裸设备大小
2. 准备 dmdcr_cfg.ini 配置文件,保存到/home/data/目录下面。后续 DMASMCMD工具执行 init 语句会使用到。
DCR_N_GRP = 3
DCR_VTD_PATH = /dev/raw/raw2
DCR_OGUID = 63635
[GRP]
DCR_GRP_TYPE = CSS
DCR_GRP_NAME = GRP_CSS
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_CSS]
DCR_EP_NAME = CSS0
DCR_EP_HOST = 10.0.2.101
DCR_EP_PORT = 9341
[GRP_CSS]
DCR_EP_NAME = CSS1
DCR_EP_HOST = 10.0.2.102
DCR_EP_PORT = 9343
[GRP]
DCR_GRP_TYPE = ASM
DCR_GRP_NAME = GRP_ASM
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_ASM]
DCR_EP_NAME = ASM0
DCR_EP_SHM_KEY = 93360
DCR_EP_SHM_SIZE = 10
DCR_EP_HOST = 10.0.2.101
DCR_EP_PORT = 9349
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP_ASM]
DCR_EP_NAME = ASM1
DCR_EP_SHM_KEY = 93361
DCR_EP_SHM_SIZE = 10
DCR_EP_HOST = 10.0.2.102
DCR_EP_PORT = 9351
DCR_EP_ASM_LOAD_PATH = /dev/raw
[GRP]
DCR_GRP_TYPE = DB
DCR_GRP_NAME = GRP_DSC
DCR_GRP_N_EP = 2
DCR_GRP_DSKCHK_CNT = 60
[GRP_DSC]
DCR_EP_NAME = DSC0
DCR_EP_SEQNO = 0
DCR_EP_PORT = 5236
DCR_CHECK_PORT = 9741
[GRP_DSC]
DCR_EP_NAME = DSC1
DCR_EP_SEQNO = 1
DCR_EP_PORT = 5236
DCR_CHECK_PORT = 9742
- 使用 DMASMCMD 工具初始化
create dcrdisk '/dev/raw/raw1' 'dcr'
create votedisk '/dev/raw/raw2' 'vote'
create asmdisk '/dev/raw/raw3' 'LOG0'
create asmdisk '/dev/raw/raw4' 'DATA0'
init dcrdisk '/dev/raw/raw1' from '/home/data/dmdcr_cfg.ini'identified by 'abcd'
init votedisk '/dev/raw/raw2' from '/home/data/dmdcr_cfg.ini'
可以启动 dmasmcmd 工具,依次输入以上命令,或者将命令写入 asmcmd.txt 文件,
执行 dmasmcmd script_file=asmcmd.txt,只需在一台机器执行即可。
用户没有指定脚本文件,则 dmasmcmd 进入交互模式运行,逐条解析、运行命令;用
户指定脚本文件(比如 asmcmd.txt),则以行为单位读取文件内容,并依次执行,执行完
成以后,自动退出 dmasmcmd 工具。脚本文件必须以“#asm script file”开头,否则
认为是无效脚本文件;脚本中其它行以“#”表示注释;脚本文件大小不超过 1M。
4. 准备 DMASM 的 MAL 配置文件(命名为 dmasvrmal.ini),使用 DMASM 的所有节点都
要配置,内容完全一样,保存到/home/data 目录下
[MAL_INST1]
MAL_INST_NAME = ASM0
MAL_HOST = 10.0.2.101
MAL_PORT = 7236
[MAL_INST2]
MAL_INST_NAME = ASM1
MAL_HOST = 10.0.2.102
MAL_PORT = 7237
- 准备 dmdcr.ini 配置文件,保存到/home/data 目录下面
DMASM 的两个节点分别配置 dmdcr.ini,dmdcr_path 相同,dmasvrmal.ini 文
件内容也相同,dmdcr_seqo 分别为 0 和 1。
节点 10.0.2.101:
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH =/home/data/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO = 0
#ASM 重启参数,命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /opt/dmdbms/bin/dmasmsvr
dcr_ini=/home/data/dmdcr.ini
#DB 重启参数,命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /opt/dmdbms/bin/dmserver
path=/home/data/dsc0_config/dm.ini dcr_ini=/home/data/dmdcr.ini
节点 10.0.2.102:
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH =/home/data/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径
DMDCR_SEQNO = 1
#ASM 重启参数,命令行方式启动
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /opt/dmdbms/bin/dmasmsvr dcr_ini=/home/data/dmdcr.ini
#DB 重启参数,命令行方式启动
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /opt/dmdbms/bin/dmserver
path=/home/data/dsc1_config/dm.ini dcr_ini=/home/data/dmdcr.ini
- 启动 DMCSS、DMASM 服务程序
在 10.0.2.101、10.0.2.102 节点先后分别启动 dmcss、dmasmsvr 程序。
手动启动 dmcss 命令:
[/opt/dmdbms/bin]# ./dmcss DCR_INI=/home/data/dmdcr.ini
手动启动 dmasmsvr 命令:
[/opt/dmdbms/bin]# ./dmasmsvr DCR_INI=/home/data/dmdcr.ini
如果 DMCSS 配置有自动拉起 dmasmsvr 的功能,可以等待 DMCSS 自动拉起 dmasmsvr程序,不需要手动启动。
主 DMCSS 启动后屏幕打印如下:
[/opt/dmdbms/bin]# ./dmcss DCR_INI=/home/data/dmdcr.ini
dmcss V7.1.5.90-Build(2016.06.08-69758-debug)ENT
设置 CSS[0]为主 CSS
[ASM]: 设置 EP[0]为控制节点
[ASM]: 设置命令[START NOTIFY], 目标节点[0], 命令序号[2]
[ASM]: 设置命令[EP START], 目标节点[0], 命令序号[3]
[ASM]: 设置命令[NONE], 目标节点[0], 命令序号[0]
[ASM]: 设置命令[EP START], 目标节点[1], 命令序号[9]
[ASM]: 设置命令[NONE], 目标节点[1], 命令序号[0]
[ASM]: 设置命令[EP OPEN], 目标节点[0], 命令序号[12]
[ASM]: 设置命令[EP OPEN], 目标节点[1], 命令序号[13]
[ASM]: 设置命令[NONE], 目标节点[0], 命令序号[0]
[ASM]: 设置命令[NONE], 目标节点[1], 命令序号[0]
[ASM]: 设置命令[EP REAL OPEN], 目标节点[0], 命令序号[15]
[ASM]: 设置命令[EP REAL OPEN], 目标节点[1], 命令序号[16]
[ASM]: 设置命令[NONE], 目标节点[0], 命令序号[0]
[ASM]: 设置命令[NONE], 目标节点[1], 命令序号[0]
- 使用 dmasmtool 工具创建 DMASM 磁盘组
选择一个节点(10.0.2.101),启动 dmasmtool 工具。
[/opt/dmdbms/bin]# ./dmasmtool DCR_INI=/home/data/dmdcr.ini
输入下列语句创建 DMASM 磁盘组:
#创建日志磁盘组
create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'
#创建数据磁盘组
create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'
- 准备 dminit.ini 配置文件,保存到/home/data 目录
db_name = dsc
system_path = +DMDATA/data
system = +DMDATA/data/dsc/system.dbf
system_size = 128
roll = +DMDATA/data/dsc/roll.dbf
roll_size = 128
main = +DMDATA/data/dsc/main.dbf
main_size = 128
ctl_path = +DMDATA/data/dsc/dm.ctl
ctl_size = 8
log_size = 256
dcr_path = /dev/raw/raw1 #dcr 磁盘路径,目前不支持 asm,只能是裸设备
dcr_seqno = 0
auto_overwrite = 1
[DSC0] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应
config_path = /home/data/dsc0_config
port_num = 5236
mal_host = 10.0.2.101
mal_port = 9340
log_path = +DMLOG/log/dsc0_log01.log
log_path = +DMLOG/log/dsc0_log02.log
[DSC1] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应
config_path = /home/data/dsc1_config
port_num = 5237
mal_host = 10.0.2.102
mal_port = 9341
log_path = +DMLOG/log/dsc1_log01.log
log_path = +DMLOG/log/dsc1_log02.log
- 使用 dminit 初始化 DB 环境
选择一个节点(10.0.2.101),启动 dminit 工具初始化数据库。dminit 执行完成
后,会在 config_path 目录(/home/data/dsc0_config 和
/home/data/dsc1_config)下生成配置文件 dm.ini 和 dmmal.ini。
./dminit control=/home/data/dminit.ini
屏幕打印如下:
[/opt/dmdbms/bin]# ./dminit control=/home/data/dminit.ini
initdb V7.1.5.90-Build(2016.06.08-69758-debug)ENT
db version: 0x70009
file dm.key not found, use default license!
License will expire on 2017-06-08
log file path: +DMLOG/log/dsc0_log01.log
log file path: +DMLOG/log/dsc0_log02.log
log file path: +DMLOG/log/dsc1_log01.log
log file path: +DMLOG/log/dsc1_log02.log
write to dir [+DMDATA/data/dsc].
create dm database success. 2016-06-23 15:23:13
- 启动数据库服务器
将 10.0.2.101 机器/home/data/dsc1_config 目录拷贝到 10.0.2.102 机器相
同目录下,再分别启动 dmserver 即可完成 DMDSC 集群搭建。
如果 DMCSS 配置有自动拉起 dmserver 的功能,可以等待 DMCSS 自动拉起实例,不
需要手动启动。
如果需要手动启动,可参考下面的操作步骤:
10.0.2.101 机器:
./dmserver /home/data/dsc0_config/dm.ini dcr_ini=/home/data/dmdcr.ini
10.0.2.102 机器:
./dmserver /home/data/dsc1_config/dm.ini dcr_ini=/home/data/dmdcr.ini