达梦DMDSC共享存储搭建


文章目录

  • 达梦DMDSC共享存储搭建
  • 前言
  • 一、部署说明
  • 二、使用步骤
  • 1.创建共享存储
  • 2.共享集群部署


前言

DMDSC适用于密集交易型场景的共享存储集群，采用单库多实例架构，基于共享存储上的多个节点对外提供服务，实现高吞吐量；自动接管故障节点，保证系统高可用性；对标 RAC 架构，是适合金融行业核心生产系统的解决方案。

一、部署说明

数据库操作系统：Centos7
共享存储：Windows Server 2012 R2
数据库：DM V8
虚拟机：VMWare 16 Pro
存储主机IP：192.168.2.81
DSC A主机IP：192.168.2.78
DSC B主机IP：192.168.2.82

二、使用步骤

1.创建共享存储

VM虚拟机在Win Server2012搭建iSCSI服务

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间


创建ISCSI虚拟磁盘

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_02


创建完成虚拟磁盘后，在Centos7上进行磁盘挂载。

在探测存储前，确认Win Ser 2012 ISCSI配置中发起程序是否添加IP，没添加IP，Centos7探测时会报错。

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_03

在Linux主机安装ISCSI驱动
yum -y install iscsi-initiator-utils

发现存储

DSC A主机：

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.2.81 --discover

mysql系统共享表空间 数据库共享存储_DSC_04


DSC B主机

iscsiadm --mode discoverydb --type sendtargets --portal 192.168.2.81 --discover

mysql系统共享表空间 数据库共享存储_DSC_05

登录存储

DSC A主机：

iscsiadm -m node -T iqn.1991-05.com.microsoft:win-pres48uti5p-data1-target -p 192.168.2.81 -l

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_06


DSC B主机

iscsiadm -m node -T iqn.1991-05.com.microsoft:win-pres48uti5p-data1-target -p 192.168.2.81 -l

mysql系统共享表空间 数据库共享存储_IP_07

查看存储

A主机：fdisk -l

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_08


B主机：fdisk -l

mysql系统共享表空间 数据库共享存储_DSC_09

2.共享集群部署

在共享磁盘上划分裸设备

DSC A主机：
输入 fdisk /dev/sdb
依次输入 n -> p -> 1 ->回车-> +1024M ->回车，完成第一块磁盘划分
依次输入 n -> p -> 2 ->回车-> +1024M ->回车，完成第二块磁盘划分
依次输入 n -> p -> 3 ->回车-> +8192M ->回车，完成第三块磁盘划分
依次输入 n -> p -> 4 ->回车->回车->回车，完成第四块磁盘划分

建议将3分区至少扩展至4GB**

mysql系统共享表空间 数据库共享存储_IP_10

DSC B主机：

mysql系统共享表空间 数据库共享存储_IP_11


在DSC主机A和DSC主机B上
编辑/etc/udev/rules.d/70-persistent-ipoib.rules 文件，增加以下语句：

ACTION==“add”,KERNEL==“sdb1”,RUN+=“/bin/raw /dev/raw/raw1 %N”

ACTION==“add”,KERNEL==“sdb2”,RUN+=“/bin/raw /dev/raw/raw2 %N”

ACTION==“add”,KERNEL==“sdb3”,RUN+=“/bin/raw /dev/raw/raw3 %N”

ACTION==“add”,KERNEL==“sdb4”,RUN+=“/bin/raw /dev/raw/raw4 %N”

ACTION==“add”,KERNEL==“raw[1-4]”,OWNER=“root”,GROUP=“root”,MODE=“660”DSC 主机A：

mysql系统共享表空间 数据库共享存储_数据库_12


mysql系统共享表空间 数据库共享存储_数据库_13

DSC主机B：

mysql系统共享表空间 数据库共享存储_数据库_14

mysql系统共享表空间 数据库共享存储_CSS_15


两节点分别执行partprobe /dev/sdb，通知系统分区表的变化

完成裸设备绑定，在DSC01和DSC02上进行

udevadm control --reload-rules

systemctl restart systemd-udev-trigger.service

查看裸设备大小，在DSC01和DSC02上进行

blockdev --getsize64 /dev/raw/raw*

DSC主机A：

mysql系统共享表空间 数据库共享存储_数据库_16


DSC主机B：

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_17


新增配置文件

dmdcr_cfg.ini
DSC主机的配置文件路径可以自行指定。/opt/data
在DSC 主机A节点上
Mkdir -p /opt/data
Cd /opt/data
Vim dmdcr_cfg.ini

mysql系统共享表空间 数据库共享存储_CSS_18


DCR_N_GRP = 3

DCR_VTD_PATH = /dev/raw/raw2

DCR_OGUID = 63635

[GRP]

DCR_GRP_TYPE = CSS

DCR_GRP_NAME = GRP_CSS

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[GRP_CSS]

DCR_EP_NAME = CSS0

DCR_EP_HOST = 192.168.2.78 #DSC01 IP

DCR_EP_PORT = 9341

[GRP_CSS]

DCR_EP_NAME = CSS1

DCR_EP_HOST = 192.168.2.82 #DSC02 IP

DCR_EP_PORT = 9343

[GRP]

DCR_GRP_TYPE = ASM

DCR_GRP_NAME = GRP_ASM

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[GRP_ASM]

DCR_EP_NAME = ASM0

DCR_EP_SHM_KEY = 93360

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.2.78 #DSC01 IP

DCR_EP_PORT = 9349

DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP_ASM]

DCR_EP_NAME = ASM1

DCR_EP_SHM_KEY = 93361

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.2.82 #DSC02 IP

DCR_EP_PORT = 9351

DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP]

DCR_GRP_TYPE = DB

DCR_GRP_NAME = GRP_DSC

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[GRP_DSC]

DCR_EP_NAME = DSC0

DCR_EP_SEQNO = 0

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9741

[GRP_DSC]

DCR_EP_NAME = DSC1

DCR_EP_SEQNO = 1

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9742

mysql系统共享表空间 数据库共享存储_IP_19


在DSC主机B节点上Mkdir -p /opt/data

Cd /opt/data

Vim dmdcr_cfg.ini

mysql系统共享表空间 数据库共享存储_数据库_20

安装DM数据库（/opt/dmdbms）
分别在DSC主机A和DSC主机B安装DM数据库。略

使用 DMASMCMD 工具初始化

DSC主机A：

cd /opt/dmdba/bin

./dmasmcmd

create dcrdisk ‘/dev/raw/raw1’ ‘dcr’

create votedisk ‘/dev/raw/raw2’ ‘vote’

create asmdisk ‘/dev/raw/raw3’ ‘LOG0’

create asmdisk ‘/dev/raw/raw4’ ‘DATA0’

init dcrdisk ‘/dev/raw/raw1’ from '/opt/data/dmdcr_cfg.ini’identified by ‘abcd’

init votedisk ‘/dev/raw/raw2’ from ‘/opt/data/dmdcr_cfg.ini’

mysql系统共享表空间 数据库共享存储_CSS_21

新增配置文件Dmasvrmal.ini

DSC主机A：
cd /opt/data/
vim dmasvrmal.ini
[MAL_INST1]
MAL_INST_NAME = ASM0
MAL_HOST = 192.168.2.78
MAL_PORT = 7236
[MAL_INST2]
MAL_INST_NAME = ASM1
MAL_HOST = 192.168.2.82
MAL_PORT = 7237

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_22

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_23

DSC主机B

cd /opt/data/

vim dmasvrmal.ini

mysql系统共享表空间 数据库共享存储_CSS_24


mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_25


新增配置文件dmdcr.ini

DSC主机A：
Cd /opt/data
Vim dmdcr.ini
DMDCR_PATH = /dev/raw/raw1
DMDCR_MAL_PATH =/opt/data/dmasvrmal.ini
DMDCR_SEQNO = 0
DMDCR_ASM_RESTART_INTERVAL = 0
DMDCR_ASM_STARTUP_CMD = /opt/dmdba/bin/dmasmsvr dcr_ini=/opt/data/dmdcr.ini
DMDCR_DB_RESTART_INTERVAL = 0
DMDCR_DB_STARTUP_CMD = /opt/dmdba/bin/dmserver path=/opt/data/dsc0_config/dm.ini dcr_ini=/opt/data/dmdcr.ini

mysql系统共享表空间 数据库共享存储_IP_26


DSC主机B：

Cd /opt/data

Vim dmdcr.ini

DMDCR_PATH = /dev/raw/raw1

DMDCR_MAL_PATH =/opt/data/dmasvrmal.ini

DMDCR_SEQNO = 1

DMDCR_ASM_RESTART_INTERVAL = 0

DMDCR_ASM_STARTUP_CMD = /opt/dmdba/bin/dmasmsvr dcr_ini=/opt/data/dmdcr.ini

DMDCR_DB_RESTART_INTERVAL = 0

DMDCR_DB_STARTUP_CMD = /opt/dmdba/bin/dmserver path=/opt/data/dsc1_config/dm.ini dcr_ini=/opt/data/dmdcr.ini

mysql系统共享表空间 数据库共享存储_数据库_27

启动服务

启动DMCSS和DMASM服务

在DSC主机A和DSC主机B先后执行

在执行前对/opt/data 赋予权限

chown dmdba:dinstall data -R

chmod 777 data -R

Cd /opt/dmdbms/bin

./dmcss DCR_INI=/opt/data/dmdcr.ini

./dmasmsvr DCR_INI=/opt/data/dmdcr.ini

主机A：

mysql系统共享表空间 数据库共享存储_DSC_28

mysql系统共享表空间 数据库共享存储_数据库_29


主机B：

mysql系统共享表空间 数据库共享存储_数据库_30


mysql系统共享表空间 数据库共享存储_数据库_31

最终主机A显示如下表示正常：

mysql系统共享表空间 数据库共享存储_IP_32


创建DMASM磁盘组

在DSC主机A创建磁盘组

cd /opt/dmdbms/bin

./dmasmtool DCR_INI=/opt/data/dmdcr.ini

#创建日志磁盘组

create diskgroup ‘DMLOG’ asmdisk ‘/dev/raw/raw3’

#创建数据磁盘组

create diskgroup ‘DMDATA’ asmdisk ‘/dev/raw/raw4’

mysql系统共享表空间 数据库共享存储_CSS_33

创建实例
创建实例前，了解清楚大小写、字符集等信息
DSC主机A：
cd /opt/data
Vim dminit.ini

db_name = dsc
system_path = +DMDATA/data
system = +DMDATA/data/dsc/system.dbf
system_size = 128
roll = +DMDATA/data/dsc/roll.dbf
roll_size = 128
main = +DMDATA/data/dsc/main.dbf
main_size = 128
ctl_path = +DMDATA/data/dsc/dm.ctl
ctl_size = 8
log_size = 256
dcr_path = /dev/raw/raw1
dcr_seqno = 0
auto_overwrite = 1
PAGE_SIZE = 32
EXTENT_SIZE = 32
CASE_SENSITIVE = N
CHARSET = 1
[DSC0]
config_path = /opt/data/dsc0_config
port_num = 5236
mal_host = 192.168.2.78
mal_port = 9340
log_path = +DMLOG/log/dsc0_log01.log
log_path = +DMLOG/log/dsc0_log02.log
[DSC1]
config_path = /opt/data/dsc1_config
port_num = 5236
mal_host = 192.168.2.82
mal_port = 9341
log_path = +DMLOG/log/dsc1_log01.log
log_path = +DMLOG/log/dsc1_log02.log

mysql系统共享表空间 数据库共享存储_DSC_34


创建实例

cd /opt/dmdbms/bin

./dminit cnotallow=/opt/data/dminit.ini

mysql系统共享表空间 数据库共享存储_数据库_35

实例创建完成后

在/opt/data中生成dsc0_config和dsc1_config

拷贝dsc1_config至DSC主机B

scp -r dsc1_config/ root@192.168.2.82:/opt/data

mysql系统共享表空间 数据库共享存储_CSS_36

启动服务dmserver
DSC 主机A：
cd /opt/dmdbms/bin
./dmserver /opt/data/dsc0_config/dm.ini DCR_INI=/opt/data/dmdcr.ini

mysql系统共享表空间 数据库共享存储_IP_37


DSC主机B：

cd /opt/dmdbms/bin

./dmserver /opt/data/dsc1_config/dm.ini DCR_INI=/opt/data/dmdcr.ini

mysql系统共享表空间 数据库共享存储_数据库_38

验证

从任意节点登录数据库执行select * from v$dsc_ep_info;

DSC主机A

mysql系统共享表空间 数据库共享存储_DSC_39


DSC主机B

mysql系统共享表空间 数据库共享存储_CSS_40


在DSC主机A建表插入数据

mysql系统共享表空间 数据库共享存储_IP_41


mysql系统共享表空间 数据库共享存储_IP_42


在DSC主机B查询

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_43

注册服务

Root用户注册 DMCSS和DMASM服务

DSC主机A：

/opt/dmdbms/script/root/

DMCSS注册服务

./dm_service_installer.sh -t dmcss -dcr_ini /opt/data/dmdcr.ini -p DMCSS0

DMASM注册服务

./dm_service_installer.sh -t dmasmsvr -dcr_ini /opt/data/dmdcr.ini -p DMASM0 -y DmCSSServiceDMCSS0

DM注册实例服务

./dm_service_installer.sh -t dmserver -p DMSERVER0 -dm_ini /opt/data/dsc0_config/dm.ini -dcr_ini /opt/data/dmdcr.ini -y DmASMSvrServiceDMASM0

mysql系统共享表空间 数据库共享存储_DSC_44


DSC主机B：

/opt/dmdbms/script/root/

DMCSS注册服务

./dm_service_installer.sh -t dmcss -dcr_ini /opt/data/dmdcr.ini -p DMCSS1

DMASM注册服务

./dm_service_installer.sh -t dmasmsvr -dcr_ini /opt/data/dmdcr.ini -p DMASM1 -y DmCSSServiceDMCSS1

DM注册实例服务

./dm_service_installer.sh -t dmserver -p DMSERVER1 -dm_ini /opt/data/dsc1_config/dm.ini -dcr_ini /opt/data/dmdcr.ini -y DmASMSvrServiceDMASM1

mysql系统共享表空间 数据库共享存储_IP_45

reboot重启后

DSC主机A：

mysql系统共享表空间 数据库共享存储_数据库_46


DSC主机B：

mysql系统共享表空间 数据库共享存储_CSS_47

配置服务名
一般配置在连接数据库的中间件服务器上。
本地访问数据库终端WIN10
C:\windows\system32\dm_svc.conf
DSC=(192.168.2.78:5236,192.168.2.82:5236)
SWITCH_TIME=(10000)
SWITCH_INTERVAL=(1000)
loadBalance=(true)
loadBalanceFreq=(10000)
loadBalancePercent=(10)
TIME_ZONE=(480)
LANGUAGE=(en)
注意WIN10下的权限

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_48


mysql系统共享表空间 数据库共享存储_IP_49


配置监视器

在任意节点上配置监视器

CSSM_OGUID = 63635

和dmdcr_cfg.ini 中CSS配置项的 DCR_EP_HOST 和 DCR_EP_PORT 保持一致

CSSM_CSS_IP = 192.168.2.78:9341

CSSM_CSS_IP = 192.168.2.82:9343

CSSM_LOG_PATH =…/log

CSSM_LOG_FILE_SIZE = 32

CSSM_LOG_SPACE_LIMIT = 1024

cd /opt/dmdbms/bin
./dmcssm INI_PATH=/opt/data/dmcssm.ini

Show:显示集群状态信息

mysql系统共享表空间 数据库共享存储_mysql系统共享表空间_50