Centos6.5安装Oracle11.2.0.4 RAC(完整版)

环境参数：Linux：Centos6.5 Grid和Oracle:11.2.0.4

一、环境配置

1.配置Node1和Node2两个节点之间的网卡

Node1:

2. [root@rac1 network-scripts]# cat ifcfg-eth0  
3. DEVICE=eth0  
4. HWADDR=08:00:27:E6:6A:DF  
5. TYPE=Ethernet  
6. UUID=543aef46-94aa-442f-9259-8584588c5e66  
7. ONBOOT=yes  
8. NM_CONTROLLED=yes  
9. BOOTPROTO=none  
10. IPADDR=192.168.8.221  
11. NETMASK=255.255.255.0  
12. GATEWAY=192.168.8.1  
13. DNS1=221.228.255.1  
14.   
15. [root@rac1 network-scripts]# cat ifcfg-eth1  
16. DEVICE=eth1  
17. HWADDR=08:00:27:72:5A:8F  
18. TYPE=Ethernet  
19. ONBOOT=yes  
20. NM_CONTROLLED=yes  
21. BOOTPROTO=none  
22. IPADDR=172.168.1.18  

Node2:

2. [root@rac2 network-scripts]# cat ifcfg-eth0  
3. DEVICE=eth0  
4. HWADDR=08:00:27:1B:D9:5A  
5. TYPE=Ethernet  
6. UUID=543aef46-94aa-442f-9259-8584588c5e66  
7. ONBOOT=yes  
8. NM_CONTROLLED=yes  
9. BOOTPROTO=none  
10. IPADDR=192.168.8.223  
11. NETMASK=255.255.255.0  
12. GATEWAY=192.168.8.1  
13. DNS1=221.228.255.1  
14.   
15. [root@rac2 network-scripts]# cat ifcfg-eth1  
16. DEVICE=eth1  
17. HWADDR=08:00:27:39:5F:8C  
18. TYPE=Ethernet  
19. ONBOOT=yes  
20. NM_CONTROLLED=yes  
21. BOOTPROTO=none  
22. IPADDR=172.168.1.19  

2.配置/etc/hosts主机文件

2. [root@rac1 network-scripts]# cat /etc/hosts  
3.   
4. 127.0.0.1 localhost  
5. ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6  
6.   
7. #node1  
8. 192.168.8.221 rac1 rac1.oracle.com  
9. 192.168.8.222 rac1-vip  
10. 172.168.1.18  rac1-priv  
11.   
12. #node2  
13. 192.168.8.223 rac2 rac2.oracle.com  
14. 192.168.8.224 rac2-vip  
15. 172.168.1.19  rac2-priv  
16.   
17. #scan-ip  
18. 192.168.8.225 rac-cluster rac-cluster-scan  

3.配置DNS(略，可以暂时不配置)

4.关闭防火墙

 

2. service iptables stop  
3. chkconfig iptables off  

5.关闭Selinux

2. vim /etc/selinux/config   
3.   
4. SELINUX=disabled  

6.创建用户和组

 

2. --创建用户:  
3. groupadd -g 1000 oinstall  
4. groupadd -g 1200 asmadmin  
5. groupadd -g 1201 asmdba  
6. groupadd -g 1202 asmoper  
7. groupadd -g 1300 dba  
8. groupadd -g 1301 oper  
9. --创建组：  
10. useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper grid  
11. useradd -u 1101 -g oinstall -G dba,oper,asmdba oracle  
12. --创建密码：  
13. passwd grid  
14. passwd oracle  

7.配置用户的环境变量

Node1：

 

​

2. --grid用户:  
3. export PATH  
4. export TMP=/tmp  
5. export TMPDIR=$TMP  
6. export ORACLE_SID=+ASM1  
7. export ORACLE_BASE=/u01/grid  
8. export ORACLE_HOME=/u01/app/grid/11.2.0  
9. export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'  
10. export TNS_ADMIN=$ORACLE_HOME/network/admin  
11. export PATH=/usr/sbin:$PATH  
12. export PATH=$ORACLE_HOME/bin:$PATH  
13. export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib  
14. export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib  
15. export LANG=en_US  
16. export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK  
17. umask 022  

2. --oracle用户:  
3. export PATH  
4. export TMP=/tmp  
5. export TMPDIR=$TMP  
6. export ORACLE_HOSTNAME=rac1  
7. export ORACLE_SID=orcl1  
8. export ORACLE_BASE=/u01/oracle  
9. export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1  
10. export ORACLE_UNQNAME=orcl  
11. export TNS_ADMIN=$ORACLE_HOME/network/admin  
12. #export ORACLE_TERM=xterm  
13. export PATH=/usr/sbin:$PATH  
14. export PATH=$ORACLE_HOME/bin:$PATH  
15. export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib  
16. export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib  
17. export LANG=en_US  
18. export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK  
19. export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'  
20. umask 022  

Node2：

 

2. --grid用户:  
3. export PATH  
4. export TMP=/tmp  
5. export TMPDIR=$TMP  
6. export ORACLE_SID=+ASM2  
7. export ORACLE_BASE=/u01/grid  
8. export ORACLE_HOME=/u01/app/grid/11.2.0  
9. export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'  
10. export TNS_ADMIN=$ORACLE_HOME/network/admin  
11. export PATH=/usr/sbin:$PATH  
12. export PATH=$ORACLE_HOME/bin:$PATH  
13. export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib  
14. export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib  
15. export LANG=en_US  
16. export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK  
17. umask 022  

2. --oracle用户:  
3. export PATH  
4. export TMP=/tmp  
5. export TMPDIR=$TMP  
6. export ORACLE_HOSTNAME=rac2  
7. export ORACLE_SID=orcl2  
8. export ORACLE_BASE=/u01/oracle  
9. export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1  
10. export ORACLE_UNQNAME=orcl  
11. export TNS_ADMIN=$ORACLE_HOME/network/admin  
12. #export ORACLE_TERM=xterm  
13. export PATH=/usr/sbin:$PATH  
14. export PATH=$ORACLE_HOME/bin:$PATH  
15. export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib  
16. export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib  
17. export LANG=en_US  
18. export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK  
19. export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'  
20. umask 022  

8.创建所需目录

 

2. mkdir -p /u01/grid  
3. mkdir -p /u01/app/grid/11.2.0  
4. mkdir -p /u01/oracle  
5. chown -R oracle:oinstall /u01  
6. chown -R grid:oinstall /u01/grid  
7. chown -R grid:oinstall /u01/app/grid/11.2.0  
8. chmod -R 775 /u01  

9.配置limits.con​​f增加如配置​​

 

2. vim /etc/security/limits.conf  
3.   
4. oracle           soft   nofile           1024  
5. oracle           hard   nofile           65536  
6. oracle           soft   nproc            2047  
7. oracle           hard   nproc            16384  
8. oracle           soft   stack            10240  
9. oracle           hard   stack            32768  
10. grid             soft   nofile           1024  
11. grid             hard   nofile           65536  
12. grid             soft   nproc            2047  
13. grid             hard   nproc            16384  
14. grid             soft   stack            10240  
15. grid             hard   stack            32768  

10.修改内核参数

 

​

2. --注意将原来参数shmmall和shmmax注释掉  
3. vim /etc/sysctl.conf  
4. fs.aio-max-nr = 1048576  
5. fs.file-max = 6815744  
6. kernel.shmall = 1073741824  
7. kernel.shmmax = 4398046511104  
8. kernel.shmmni = 4096  
9. kernel.sem = 250 32000 100 128  
10. net.ipv4.ip_local_port_range = 9000 65500  
11. net.core.rmem_default = 262144  
12. net.core.rmem_max = 4194304  
13. net.core.wmem_default = 262144  
14. net.core.wmem_max = 1048576  
15.   
16. --使sysctl生效  
17. sysctl -p  

11.停止NTP服务

 

​

2. service ntpd stop  
3. chkconfig ntpd off  
4. mv /etc/ntp.conf /etc/ntp.conf.bak  

11.安装相关软件包

yum install gcc compat-libstdc++-33 elfutils-libelf-devel glibc-devel glibc-headers gcc-c++ libaio-devel libstdc++-devel pdksh compat-libcap1-*

 

12.配置共享存储

for i in b c d e f g ;

do

echo "KERNEL==\"sd*\", BUS==\"scsi\", PROGRAM==\"/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"`/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\""      >> /etc/udev/rules.d/99-oracle-asmdevices.rules

done

--执行

/sbin/start_udev

 

13.上传并解压grid和oracle安装包(略)

 

二、Grid软件安装

1.安装grid，以grid用户登录，并执行./runInstaller进入安装界面

2.进入界面选择跳过软件更新，点击Next

2.选择Grid Infrastructure，点击Next：

3.选择高级安装，点击Next

4.默认Englist，点击Next

5.去掉Configure GNS选项，点击Next

6.点击Add选项，输入对应参数，参考/etc/hosts文件中配置

7.点击SSH Connectivity,输入grid的密码，点击Setup等待配置完成，然后点击Next

8.确认网络接口，eth0为Public,eth1为Private

9.选择Oracle ASM,点击Next

10.输入Disk Group Name,点击Change Discovery Path，在弹出的对话框中输入磁盘的路径，点击OK

11.选择ASM磁盘，点击Next

11.输入口令密码，点击Next

12.选择不使用IPMI，点击Next

13.默认选择，点击Next

14.确认Grid的安装路径，其中Grid软件的ORACLE_HOME不能是ORACLE_BASE的子目录

15.默认Inverntory,点击Next

16.该错误可以从Grid的安装文件的rpm目录下获取，Node1和Node2都安装即可，Device Checks for ASM可忽略

17.进入安装Grid安装前的概要信息界面，点击Install进行安装

18.根据红框中信息，现在Node1节点执行2个脚本，Node1节点全部执行完毕后，再在Node2上分别执行2个脚本，全部执行完毕后，点击OK，执行下一步

脚本执行结果如下

Node1：

 

2. [root@rac1 rpm]# /u01/app/oraInventory/orainstRoot.sh  
3. Changing permissions of /u01/app/oraInventory.  
4. Adding read,write permissions for group.  
5. Removing read,write,execute permissions for world.  
6.   
7. Changing groupname of /u01/app/oraInventory to oinstall.  
8. The execution of the script is complete.  

2. [root@rac1 rpm]# /u01/app/11.2.0/grid/root.sh  
3. Performing root user operation for Oracle 11g  
4.   
5. The following environment variables are set as:  
6. ORACLE_OWNER= grid  
7. ORACLE_HOME= /u01/app/11.2.0/grid  
8.   
9. Enter the full pathname of the local bin directory: [/usr/local/bin]:  
10. Copying dbhome to /usr/local/bin ...  
11. Copying oraenv to /usr/local/bin ...  
12. Copying coraenv to /usr/local/bin ...  
13.   
14.   
15. Creating /etc/oratab file...  
16. Entries will be added to the /etc/oratab file as needed by  
17. Database Configuration Assistant when a database is created  
18. Finished running generic part of root script.  
19. Now product-specific root actions will be performed.  
20. Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params  
21. Creating trace directory  
22. User ignored Prerequisites during installation  
23. Installing Trace File Analyzer  
24. OLR initialization - successful  
25. root wallet  
26. root wallet cert  
27. root cert export  
28. peer wallet  
29. profile reader wallet  
30. pa wallet  
31. peer wallet keys  
32. pa wallet keys  
33. peer cert request  
34. pa cert request  
35. peer cert  
36. pa cert  
37. peer root cert TP  
38. profile reader root cert TP  
39. pa root cert TP  
40. peer pa cert TP  
41. pa peer cert TP  
42. profile reader pa cert TP  
43. profile reader peer cert TP  
44. peer user cert  
45. pa user cert  
46. Adding Clusterware entries to upstart  
47. CRS-2672: Attempting to start 'ora.mdnsd' on 'rac1'  
48. CRS-2676: Start of 'ora.mdnsd' on 'rac1' succeeded  
49. CRS-2672: Attempting to start 'ora.gpnpd' on 'rac1'  
50. CRS-2676: Start of 'ora.gpnpd' on 'rac1' succeeded  
51. CRS-2672: Attempting to start 'ora.cssdmonitor' on 'rac1'  
52. CRS-2672: Attempting to start 'ora.gipcd' on 'rac1'  
53. CRS-2676: Start of 'ora.cssdmonitor' on 'rac1' succeeded  
54. CRS-2676: Start of 'ora.gipcd' on 'rac1' succeeded  
55. CRS-2672: Attempting to start 'ora.cssd' on 'rac1'  
56. CRS-2672: Attempting to start 'ora.diskmon' on 'rac1'  
57. CRS-2676: Start of 'ora.diskmon' on 'rac1' succeeded  
58. CRS-2676: Start of 'ora.cssd' on 'rac1' succeeded  
59.   
60. ASM created and started successfully.  
61.   
62. Disk Group SYSTEMDG created successfully.  
63.   
64. clscfg: -install mode specified  
65. Successfully accumulated necessary OCR keys.  
66. Creating OCR keys for user 'root', privgrp 'root'..  
67. Operation successful.  
68. CRS-4256: Updating the profile  
69. Successful addition of voting disk 03bd9e6851cf4fb4bf4c92e24a3d71cc.  
70. Successful addition of voting disk 362f2cfb5b3d4f29bf319c668e0efbe4.  
71. Successful addition of voting disk 57659c53f4284fbdbfeabafb20c3fbdd.  
72. Successfully replaced voting disk group with +SYSTEMDG.  
73. CRS-4256: Updating the profile  
74. CRS-4266: Voting file(s) successfully replaced  
75. ## STATE File Universal Id File Name Disk group  
76. -- ----- ----------------- --------- ---------  
77. 1. ONLINE 03bd9e6851cf4fb4bf4c92e24a3d71cc (/dev/asm-diskb) [SYSTEMDG]  
78. 2. ONLINE 362f2cfb5b3d4f29bf319c668e0efbe4 (/dev/asm-diskc) [SYSTEMDG]  
79. 3. ONLINE 57659c53f4284fbdbfeabafb20c3fbdd (/dev/asm-diskd) [SYSTEMDG]  
80. Located 3 voting disk(s).  
81. CRS-2672: Attempting to start 'ora.asm' on 'rac1'  
82. CRS-2676: Start of 'ora.asm' on 'rac1' succeeded  
83. CRS-2672: Attempting to start 'ora.SYSTEMDG.dg' on 'rac1'  
84. CRS-2676: Start of 'ora.SYSTEMDG.dg' on 'rac1' succeeded  
85. Configure Oracle Grid Infrastructure for a Cluster ... succeeded  

Node2：

2. [root@rac2 grid]# /u01/app/oraInventory/orainstRoot.sh  
3. Changing permissions of /u01/app/oraInventory.  
4. Adding read,write permissions for group.  
5. Removing read,write,execute permissions for world.  
6.   
7. Changing groupname of /u01/app/oraInventory to oinstall.  
8. The execution of the script is complete.  

2. [root@rac2 grid]# /u01/app/11.2.0/grid/root.sh  
3. Performing root user operation for Oracle 11g  
4.   
5. The following environment variables are set as:  
6. ORACLE_OWNER= grid  
7. ORACLE_HOME= /u01/app/11.2.0/grid  
8.   
9. Enter the full pathname of the local bin directory: [/usr/local/bin]:  
10. Copying dbhome to /usr/local/bin ...  
11. Copying oraenv to /usr/local/bin ...  
12. Copying coraenv to /usr/local/bin ...  
13.   
14.   
15. Creating /etc/oratab file...  
16. Entries will be added to the /etc/oratab file as needed by  
17. Database Configuration Assistant when a database is created  
18. Finished running generic part of root script.  
19. Now product-specific root actions will be performed.  
20. Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params  
21. Creating trace directory  
22. User ignored Prerequisites during installation  
23. Installing Trace File Analyzer  
24. OLR initialization - successful  
25. Adding Clusterware entries to upstart  
26. CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node rac1, number 1, and is terminating  
27. An active cluster was found during exclusive startup, restarting to join the cluster  
28. Configure Oracle Grid Infrastructure for a Cluster ... succeeded  

19.临近执行完毕时，报了一个INS-20802的这种错误，导致这个错误的原因是在/etc/hosts中配置了SCAN的地址，尝试ping这个地址信息，如果可以成功，则这个错误可以忽略。

20.最后单击Close，完成Grid软件在Node1和Node2的安装操作

 

三、安装Oracle软件

1.安装oracle，以oracle用户登录，并执行./runInstaller进入安装界面

2.直接点击Next

3.选择跳过软件更新，点击Next

4.选则只安装数据库软件，点击Next

5.点击SSH Connectivity,输入Oracle的密码，点击setup，有如下提示，说明成功

6.默认English，点击Next

7.选择Enterprise Edition

8.默认路径，点击Next

9.选择Oracle用户组，默认选择，点击Next

10.Swap size错误增大即可，SCAN错误前面说过，选择Ignore all，点击Next

11.Oracle安装概要信息，点击Next

12.分别在Node1和Node2执行脚本

13.最后点击Close安装完成

 

四、创建ASM磁盘组

1.以grid用户登录，输入asmca命令，弹出ASM配置界面，点击Create

2.输入Disk Group Name，点击OK，会提示创建成功

3.创建成功后，会发现多出来一行记录，但是在state只显示MOUNTED(1of2)

4.点击Mount ALL,成功后state显示MOUNTED(2of2)，点击Exit退出

 

五、安装数据库实例

1.使用Oracle用户登录，执行dbca命令，弹出如下界面，选择第一项，点击Next

2.点击创建数据库选项，点击Next

3.根据工作中的实际情况选择对应的模板，这里以默认模板为例

4.选择rac1和rac2，输入orcl实例名，点击Next

5.根据实际情况选择是否配置EM，点击Next

6.配置Oracle相关密码，点击Next

7.选择存储ASM,默认选择之前创建的磁盘组，点击Next

8.根据实际情况选择是否启用闪回恢复区，如果启用，需要在asmca中配置闪回区或放入到DATADG中，这里不配置

9.根据实际选择，这里不选择，点击Next

10.这里着重注意下配置正确的字符集，根据实际生产要求，点击Next

11.默认选择数据库存储信息，点击Next

12.点击Finish，开始创建数据库

13.最后完成数据库创建