今天就和大家一起来实现Tomcat和nginx的集群与负载均衡

一、Tomcat 集群配置端口规划

注：该端口是在同一台机器上启动2个tomcat，需要修改一下端口不重复，如果一台机器只部署1个tomcat其端口可以一样。


序号



SHUTDOWN



AJP



http



集群Receiver



1



8005



8009



8080



5001



2



8015



8019



8081


5002

1、Tomcat 集群配置

在server.xml中修改：

将： 

<Engine name="Catalina" defaultHost="localhost">

修改为：


<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">

其中 jvmRoute="jvm1" 在不同的tomcat中名称不一样。

在<Engine></Engine>节点中加入如下内容实现Session复制共享：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
         channelSendOptions="8">

  <Manager className="org.apache.catalina.ha.session.DeltaManager"
           expireSessionsOnShutdown="false"
           notifyListenersOnReplication="true"/>

  <Channel className="org.apache.catalina.tribes.group.GroupChannel">
    <Membership className="org.apache.catalina.tribes.membership.McastService"
                address="228.0.0.4"
                port="45564"
                frequency="500"
                dropTime="3000"/>
    <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
              address="auto" <!--可写你自己的ip地址-->
              port="5001"
              autoBind="100"
              selectorTimeout="5000"
              maxThreads="6"/>

    <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
      <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
    </Sender>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
  </Channel>

  <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
         filter=""/>
  <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

  <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
            tempDir="/tmp/war-temp/"
            deployDir="/tmp/war-deploy/"
            watchDir="/tmp/war-listen/"
            watchEnabled="false"/>

  <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
  <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>

注意在同一台机器上：Receiver 节点端口：port="5001"要不一样。

2、修改tomcat的web.xml

​

需要修改tomcat的web.xml配置参数才能真正实现session同步复制的设置

<welcome-file-list>
<welcome-file>index.html</welcome-file>
<welcome-file>index.htm</welcome-file>
<welcome-file>index.jsp</welcome-file>
</welcome-file-list>
<distributable /> (在倒数第二行增加这个代码才能实现session同步复制功能)
</web-app>

​

二、优化：

1、内存优化配置

1)Windows：
set JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M 
-XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails  
-XX:+PrintGCTimeStamps -Djava.awt.headless=true"
2)Linux
JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M 
-XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC  -XX:+PrintGCDetails  
-XX:+PrintGCTimeStamps -Djava.awt.headless=true"

2、其他优化配置：

1)加入如下配置1
<Executor name="tomcatThreadPool" namePrefix="catalina-exec-"
        maxThreads="500" minSpareThreads="50" />

修改


<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000"
               redirectPort="8443" />

为


<Connector port="8080"  executor="tomcatThreadPool" protocol="HTTP/1.1"
               connectionTimeout="60000"
               enableLookups="false" redirectPort="8443" />

修改：


<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

为


<Connector port="8009" executor="tomcatThreadPool"
               connectionTimeout="60000"
               enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />
2)或者

修改

<Connector port="8080" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443" />

为


<Connector port="8080"  protocol="HTTP/1.1"
               maxThreads="500"
               acceptCount="50" connectionTimeout="60000"
               enableLookups="false" redirectPort="8443" />

修改


<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

为


<Connector port="8009"
         maxThreads="500"  connectionTimeout="60000"
         enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />

注：两者的主要区别是：executor被起用且关联时maxThreads="500" 被忽略。

3)几个属性解释：
  • maxThreads

Tomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。默认值200。 可以根据机器的时期性能和内存大小调整，一般可以在400-500。最大可以在800左右。

  • acceptCount

指定当所有可以使用的处理请求的线程数都被使用时，可以放到处理队列中的请求数，超过这个数的请求将不予处理。默认值10。

  • minSpareThreads

Tomcat初始化时创建的线程数。默认值4。

  • connnectionTimeout

网络连接超时，默认值20000，单位：毫秒。设置为0表示永不超时，这样设置有隐患的。通常可设置为30000毫秒。(本系统由于与后台系统接口超时时间较长，使用设置为60000)

  • enableLookups

是否反查域名，默认值为true。为了提高处理能力，应设置为false

  • Executor节点

表示Tomcat组件之间共享的线程池。

  • maxIdleTime

空闲线程被关闭之前的毫秒数。默认值是60000。

三、Nginx + Tomcat负载均衡配置

在配置文件/usr/local/nginx/conf/nginx.conf文件中新增以下代码

upstream  tomcat {
        server 192.168.100.50:8080  weight=1;
        server 192.168.100.50:8081  weight=1;
  }

其中tomcat名称随意，注意IP地址和端口。


修改Server节点中location： 

location / {
        root   html;
        index  index.html index.htm;
    }

为


location  / {
   #root   html;
   #index  index.html index.htm;
           proxy_pass  http://tomcat6;
}

注意http://tomcat中tomcat名称与上面的配置一样。