详解之：linux下tomcat、nginx的负载均衡及memcached对session共享的实现配置详细总结

写在前面：
最近几天一直做nginx的负载均衡，折腾了将近一周，在网上查了很多资料，终于在今天将一系列的流程及功能跑通。在学习的过程中，发现网上大多数资料都写的很笼统，或者就是写的让新手迷迷糊糊，似懂非懂，很多的配置参数等都不是很明白，配置的时候也就造成很多地方不确切。现在我对我这几天的配置学习予以总结，从下载到安装、环境的搭建，以及负载均衡的配置，参数的详细解释，以及memcached的session共享，都会一一介绍，并保证所欲的代码和配置都经过本人的测试并实现功能，希望给予对亟需解决linux+tomcat+nginx+memcached实现负载均衡以及session共享的同行特别是新手有一些帮助。

一、环境的介绍：

操作系统采用：CentOS-5.6-i386

项目部署在：tomcat6.0，tomcat一共有两个，分别命名为tomcat6.0_1、tomcat.0_2.这两台机器都运行在一台服务器上,IP为192.168.128.129

负载均衡采用版本：nginx-1.2

session的管理：memcached-1.4.15

由于资源有限，所有的程序安装测试均在一台服务器上完成。

二、jdk的环境的搭建tomcat的安装与项目的部署：

1、具体的部署请参考我前两天的文章：http://blog.csdn.net/jessonlv/article/details/7987434，所有的代码都通过测试。按照上面的方式分别安装部署两个tomcat,并分别命名为tomcat6.0_1、tomcat6.0_2.

2、这里重点说下文章之外的配置：由于两个tomcat运行在一台服务器上，所以要分别修改tomcat的端口，故修改/conf/server.xml,让其能在一台机器上运行。具体代码如下：

tomcat6.0_1配置：

<Server port="18005" shutdown="SHUTDOWN">

<Connector port="18080" protocol="HTTP/1.1" 
               connectionTimeout="20000" 
               redirectPort="8443" />

<Connector port="18009" protocol="AJP/1.3" redirectPort="8443" />
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">

tomcat6.0_2配置：

<Server port="18006" shutdown="SHUTDOWN">

<Connector port="18081" protocol="HTTP/1.1" 
               connectionTimeout="20000" 
               redirectPort="8443" />

<Connector port="18010" protocol="AJP/1.3" redirectPort="8443" />
<!--此处同上为修改Engine节点的jvmRoute为tomcat2-->
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">

至此,一台服务器上的两个tomcat配置完毕。

三、nginx的安装及负载均衡的配置：

nginx的安装一般采用两种方式，一种是yum命令的安装，第二种是下载tar.gz包，采用编译的方式安装。

第一种比较简单，但是一般服务器都不支持yum命令，在此做简单介绍：

01.1、rpm -Uvh http://nginx.org/packages/centos/5/noarch/RPMS/nginx-release-centos-5-0.el5.ngx.noarch.rpm
01.2、执行安装：yum安装nginx：
yum --disablerepo=* --enablerepo=base --enablerepo=nginx install nginx
此安装方式有可能需要安装gcc编译器：gcc安装：下载：http://www.linuxfromscratch.org/blfs/view/5.1/general/gcc2.html

安装命令：yum install gcc gcc-c++ kernel-devel

第二种安装方式是重点：

01、下载所需的安装包：

下载nginx：http://nginx.org/en/download.html

下载pcre，安装pcre，nginx支持重写：ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/

下载zlib：http://download.csdn.net/detail/jessonlv/4603322

下载gcc：http://download.csdn.net/detail/jessonlv/4603333

Nginx依赖一些其他PCRE、openssl（依赖libssl-dev），甚至是zlib、gcc等，下面我们简单说下如何安装PCRE：

tar zxvf  pcre-8.01.tar.gz
cd pcre-8.01
./configure
make
make install

测试pcre是否安装成功：

[root@localhost conf]# rpm -qa pcre
pcre-6.6-6.el5
[root@localhost conf]# 

返回安装的pcre的版本好则表示成功。或者：

[root@localhost conf]# ls -al /usr/lib | grep pcre
lrwxrwxrwx   1 root root       19 Sep 19 13:11 libpcrecpp.so.0 -> libpcrecpp.so.0.0.0
-rwxr-xr-x   1 root root    29608 Mar  6  2011 libpcrecpp.so.0.0.0
lrwxrwxrwx   1 root root       21 Sep 19 13:11 libpcreposix.so.0 -> libpcreposix.so.0.0.0
-rwxr-xr-x   1 root root     6616 Mar  6  2011 libpcreposix.so.0.0.0
[root@localhost conf]# 

也是成功。
安装nginx时如需其他依赖库，上面都注有下载地址，安装方式大致相同，在此不再都一一赘述。
02、安装完成后，接下来所要做的就是nginx最核心的负载均衡的配置：

配置目录是nginx安装目录下的/conf/nginx.conf文件。下面张贴我的配置文件：

#user  nobody;
worker_processes  1;

#error_log  /usr/local/nginx/logs/error.log;
#error_log  /usr/local/nginx/logs/error.log  notice;
#error_log  /usr/local/nginx/logs/error.log  info;

#pid        /usr/local/nginx/logs/nginx.pid;


events {
		use epoll;
    worker_connections  1024;
}


http {
    include      /etc/nginx/mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    #keepalive_timeout  0;
    keepalive_timeout  65;
    

    gzip  on;
    gzip_min_length 1k;
    gzip_buffers    4  4k;
    gzip_http_version  1.1;
    gzip_comp_level 1;
    gzip_types   test/plain application/x-javascript text/css application/xml;
    gzip_proxied any;
    gzip_disable "MSIE[1-6]\.(?!.*SV1)";

    upstream www.ijietu.com{
				server 192.168.128.129:18081 weight=2;
				server 192.168.128.129:18080 weight=2;
				}

    server {
        listen       80;
        server_name  www.ijietu.com;

        #charset koi8-r;

        access_log  /var/log/nginx/www.ijietu.com.log;

        location / {
        		proxy_pass  http://www.ijietu.com;
        		proxy_set_header Host   $host;
        		proxy_set_header X-Real-IP  $remote_addr;
        		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            #root   html;
            #index  index.html index.htm;
       			 }
				      log_format  www_ijietu_com  '$remote_addr - $remote_user [$time_local] $request '
              '"$status" $body_bytes_sent "$http_referer" '
              '"$http_user_agent" "$http_x_forwarded_for"';
              access_log  /var/log/nginx/www.log  www_ijietu_com;

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        	}

   		 }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443;
    #    server_name  localhost;

    #    ssl                  on;
    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_timeout  5m;

    #    ssl_protocols  SSLv2 SSLv3 TLSv1;
    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers   on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

关于gzip的各个参数的具体含义请参考我的另一篇文章：http://blog.csdn.net/jessonlv/article/details/8016284

各个模块参数含义请参考；http://wiki.nginx.org/NginxChs

或者参考我的资源：http://download.csdn.net/detail/jessonlv/4603422这上面有关于nginx各个参数的详细解释.

至此，nginx的安装及配置算是基本完成。下面进行测试：

03、测试：

启动tomcat6.0_1和tomcat6.0_2.具体命令在此不再赘述，相信大家都很熟悉，不然就别做Java了。

启动nginx:

[root@localhost conf]# nginx -c /usr/local/nginx/nginx-1.2.3/conf/nginx.conf

上面试测试时nginx的安装路径，启动时注意你自己的安装路径。没有报错即为启动成功。

查看nginx进程：

[root@localhost conf]# ps -ef | grep nginx
root     16597     1  0 12:00 ?        00:00:00 nginx: master process nginx -c /usr/local/nginx/nginx-1.2.3/conf/nginx.conf
nginx    16598 16597  0 12:00 ?        00:00:01 nginx: worker process                                
root     17385  3878  0 17:07 pts/2    00:00:00 grep nginx
[root@localhost conf]# 

在浏览器输入：http://192.168.128.129 访问项目主页。

至此，linux下tomcat+nginx的负载均衡是做好了。但是这才是个开始，memcached的session共享才是重中之重。

四、memcached的下载安装及完成session共享的配置

1、memcached管理session共享：
安装memcached一般需要安装libevent支持组件。
服务器端主要是安装memcache服务器端，目前的最新版本是 memcached-1.4.5
官网下载：http://memcached.org/
另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libevent，libevent的最新版本是libevent-2.0.20。（如果你的系统已经安装了libevent，可以不用安装）官网下载：http://libevent.org/

1.先安装libevent。这个东西在配置时需要指定一个安装路径，即./configure --prefix=/usr；然后make；然后make install；

2.再安装memcached，只是需要在配置时需要指定libevent的安装路径即./configure --with-libevent=/usr；然后make；然后make install；
这样就完成了Linux下Memcache服务器端的安装。详细的方法如下：

2.1先安装libevent：
		# tar zxvf libevent-2.0.20.tar.gz
		# cd libevent-2.0.20
		# ./configure --prefix=/usr
		# make
		# make install
2.2安装memcached，同时需要安装中指定libevent的安装位置：
		# cd /tmp
		# tar zxvf memcached-1.4.15.tar.gz
		# cd memcached-1.4.15
		# ./configure --with-libevent=/usr
		# make
		# make install

测试libevent是否安装成功：

# ls -al /usr/lib | grep libevent

测试memcached是否安装成功：

# ls -al /usr/local/bin/mem*

memcached必须启动才能完成服务，启动memcached:

memcached -d -m 20 -u root -i 192.168.128.129 -p 11211 -c 1024 -P /tmp/memcached.pid

具体各个参数的含义请看：

-p 监听的端口

-l 连接的IP地址, 默认是本机

-d start 启动memcached服务

-d restart 重起memcached服务

-d stop|shutdown 关闭正在运行的memcached服务

-d install 安装memcached服务

-d uninstall 卸载memcached服务

-u 以的身份运行 (仅在以root运行的时候有效)

-m 最大内存使用，单位MB。默认64MB

-M 内存耗尽时返回错误，而不是删除项
-c 最大同时连接数，默认是1024

-f 块大小增长因子，默认是1.25-n 最小分配空间，key+value+flags默认是48
-h 显示帮助

2、配置

memcached有多种session管理方式，这里采用官网称最有效率的一种kryo。
附各种方式所需要的jar包：

kryo-serializer: msm-kryo-serializer, kryo-serializers, kryo, minlog, reflectasm, asm-3.2
javolution-serializer: msm-javolution-serializer, javolution-5.4.3.1
xstream-serializer: msm-xstream-serializer, xstream, xmlpull, xpp3_min
flexjson-serializer: msm-flexjson-serializer, flexjson

各种方式的序列化方案以及jar的下载请参考gong1208的文章：http://gong1208.iteye.com/blog/1596120以及chenzhou123520的文章：http://chenzhou123520.iteye.com/blog/1650212 写的相当的不错，对我有很大帮助。

不管你选择哪种序列化策略，你都需要 memcached-session-manager-${version}.jar ，如果你使用的是tomcat6，则还需要下载 memcached-session-manager-tc6-${version}.jar ，如果使

用的是tomcat7则下载 memcached-session-manager-tc7-${version}.jar 。同时还需要下载 spymemcached-2.7.3.jar.下载这完这些jar包后把jar包放到 $CATALINA_HOME/lib/目录
在此特别需要注意的是：jar包的版本非常重要，不然容易造成jar之间的互相冲突，造成非配置性的错误。
在此我使用的是：

	spymemcached-2.7.1.jar
	reflectasm-1.01.jar
	msm-kryo-serializer-1.6.3.jar
	minlog-1.2.jar
	memcached-session-manager-tc6-1.6.3.jar
	memcached-session-manager-1.6.3.jar
	kryo-serializers-0.10.jar
	kryo-1.04.jar
	asm-3.2.jar

spymemcached-2.7.1.jar下载：http://download.csdn.net/detail/jessonlv/4603643

reflectasm-1.01.jar下载：http://download.csdn.net/detail/jessonlv/4603628

msm-kryo-serializer-1.6.3.jar下载：http://download.csdn.net/detail/jessonlv/4603638
minlog-1.2.jar下载：http://download.csdn.net/detail/jessonlv/4603636
memcached-session-manager-tc6-1.6.3.jar下载：http://download.csdn.net/detail/jessonlv/4603633
memcached-session-manager-1.6.3.jar下载：http://download.csdn.net/detail/jessonlv/4603632

kryo-serializers-0.10.jar下载：http://download.csdn.net/detail/jessonlv/4603628

kryo-1.04.jar下载：http://download.csdn.net/detail/jessonlv/4603624

asm-3.2.jar下载：http://download.csdn.net/detail/jessonlv/4603621

尤其注意的是我之前安装的是memcached-1.2.0不能与各个jar包很好的兼容，造成session共享的失败，换成memcached-1.4.15之后，兼容报错问题也就随之解决。
我们还需要修改 $CATALINA_HOME/conf/context.xml文件中Context节点下的内容，添加memcached-session-manager配置。
这里我们采用非粘性session管理配置：

<Context>  
  ...  
  <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"  
    memcachedNodes="n1:192.168.128.129：11211"  
    failoverNodes="n1"  
    requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"  
    transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"  
    />  
</Context> 

tomcat6.0_2的配置与此相同。
至此,memcached的配置也完毕，启动两个tomcat，再启动nginx，再启动memcached，进行与session有关的操作，然后可以关掉其中任意一台tomcat查看sessionid，之后同样的方法测试另外一台，可以发现，不管是那个tomcat在运行，sessionid的值是相同的。

到此，已经完成了负载均衡以及session的全部配置。希望对大家有所帮助。

转载请注明出处：http://blog.csdn.net/jessonlv/article/details/8025132