CentOS6.5使用keepalived实现nginx服务的高可用性及配置详解

定位

keepalived基础概念
   Keepalived是一个基于VRRP协议来实现的WEB服务高可用方案，可以利用其来避免单点故障。一个WEB服务至少会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

   keepalived最初的诞生就是为ipvs提供高可用性的，它可以自己调用ipvs来生成规则，并且可以自动实现把用户设定好的ip地址转移动别的节点上去的，还可以实现后端服务器的健康状态检测，说白了就是对vrrp的实现而已，那vrrp是什么呢：它叫虚拟冗余路由协议;vrrp可以把两个网关虚拟成一个网关来使用，当一个网关不可以用了，另一个会取而代之，keepalived其实就是linux操作系统上实现vrrp的，keepalived就是这样来实现vip地址转移的，也是实现的地址的高可用性;

   在VRRP协议中，有两组重要的概念：VRRP路由器和虚拟路由器，主控路由器和备份路由器。 VRRP路由器是指运行VRRP的路由器，是物理实体，虚拟路由器是指VRRP协议创建的，是逻辑概念。一组VRRP路由器协同工作，共同构成一台虚拟路由器。该虚拟路由器对外表现为一个具有唯一固定IP地址和MAC地址的逻辑路由器。处于同一个VRRP组中的路由器具有两种互斥的角色：主控路由器和备份路由器，一个VRRP组中有且只有一台处于主控角色的路由器，可以有一个或者多个处于备份角色的路由器。VRRP协议使用选择策略从路由器组中选出一台作为主控，负责ARP相应和转发IP数据包，组中的其它路由器作为备份的角色处于待命状态。当由于某种原因主控路由器发生故障时，备份路由器能在几秒钟的时延后升级为主路由器。由于此切换非常迅速而且不用改变IP地址和MAC地址，故对终端使用者系统是透明的。

keepalived的核心组成：
   1、vrrp(Virtual Redundancy Router Protocol)的实现，虚拟冗余路由协议，它可以把两个或多个网关虚拟成一个网关来使用，就是在两个或多个路由之前用一种协议，让两个或多个路由通过选举不决定哪个是活动的路由，当活动的不再提供服务了，另一个将取而代之.
   2、virtual server虚拟服务器
   3、vrrp_script

keepalived配置文件分为三段：
   第一段：Global configuration全局配置段；
       Global definitions    全局定义；
       Static route    静态路由；

   第二段：VRRP configuration配置段；
       VRRP synchronization groups同步组，假如在一个节点上配置两个IP要把VIP同时转移出去，也就是说这两个VIP要同步工作，定义成一个组，而后当也一个资源来转移；
       VRRP instances实例，定义虚拟路由器的；要实现虚拟路由转移时要转移IP地址；

   第三段：LVS configuration配置段；
       virtual server groups，虚拟路由服务器组，把多个路由定义在一起同时使用；
       virtual servers虚拟服务器，一般都是单独定义的；


环境准备：

ansible server:192.168.8.40
node2.chinasoft.com:192.168.8.39
node4.chinasoft.com:192.168.8.42


在ansible服务器中定义keepalived组
# vim /etc/ansible/hosts
[keepalived]
node2.chinasoft.com
node4.chinasoft.com

在两个节点node2和node4上安装nginx软件：
# ansible keepalived -m yum -a "name=nginx state=present"

编辑默认主页，将Welcome信息改为各自节点的hostname：
# vim /usr/share/nginx/html/index.html


keepalived的实现过程：

第一步：安装配置keepalived程序
# ansible keepalived -m yum -a "name=keepalived state=present"

1. # cd /etc/keepalived/
   
2. # vim keepalived.conf
   
3. ! Configuration File for keepalived
   
4. global_defs {   #全局定义
   
5.    notification_email {     #定义邮件通知
   
6.      root@localhost     #定义收件人，一行一个，有多少个就可以写多少行
   
7.    }
   
8.    notification_email_from keepalivedadmin@localhost    #以什么人的身份发邮件，就是发件人
   
9.    smtp_server 127.0.0.1    #指定发邮件的服务器
   
10.    smtp_connect_timeout 30  #连接邮件服务器超时时长
    
11.    router_id LVS_DEVEL      #路由ID
    
12. }
    
13. vrrp_script chk_mantaince_down {    #手动定义检测机制
    
14.     #判断/etc/keepalived/这个路径下是否存在down文件，如果存在即退出为1，否则退出为0
    
15.     script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
    
16.     interval 1  #每隔多久发送一次检测信息，单位为秒
    
17.     weight -6   #如果上面的判断有down文件即权后重-6，只要减后的权重大于master的就可以
    
18. }
    
19. vrrp_instance VI_1 {    #定义vrrp实例
    
20.     state MASTER        #定义该节点为主节点，一个节点定义了master，另一台或其实的就要定义成backup；
    
21.     interface eth0      #通告经过哪个接口进行
    
22.     virtual_router_id 88#虚拟路由ID号，不能大于255的
    
23.     priority 100        #定义初始优先级，定义主的优先级要高于BACKUP的
    
24.     advert_int 1        #通告几个
    
25.     authentication {    #定义认证
    
26.         auth_type PASS  #定义认证机制，pass是明文认证
    
27.         auth_pass 1111  #认证密码
    
28.     }
    
29.     virtual_ipaddress { #虚拟地址，VIP地址
    
30.         192.168.8.77   #可以定义得很详细，<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>，可以用man keepalived.conf查看相关的详细说明的；
    
31.     }
    
32.     track_script {  #在vrrp实现中要追踪到上面定义的检测脚本
    
33.         chk_haproxy
    
34.         chk_mantaince_down  #调用上面定义好的检测
    
35.     }
    
36.     # 调用编写好的通知脚本
    
37.     notify_master "/etc/keepalived/notify.sh master"
    
38.     notify_backup "/etc/keepalived/notify.sh backup"
    
39.     notify_fault "/etc/keepalived/notify.sh fault"
    
40. }

复制代码

将配置文件发送一份到node4中，并修改vrrp_instance VI_1 部分的
state 为BACKUP
priority 优先级为 99

1. # scp keepalived.conf node4.chinasoft.com:/etc/keepalived/
   
2. 
   
3. vrrp_instance VI_1 {    #定义vrrp实例
   
4.     state BACKUP        #定义该节点为主节点，一个节点定义了master，另一台或其实的就要定义成backup；
   
5.     interface eth0      #通告经过哪个接口进行
   
6.     virtual_router_id 88#虚拟路由ID号，不能大于255的
   
7.     priority 99        #定义初始优先级，定义主的优先级要高于BACKUP的
   
8.     advert_int 1        #通告几个

复制代码

重启keepalived服务
# ansible keepalived -a "service keepalived restart"
可以看到VIP虚拟地址被node2MASTER获取，在node2的/etc/keepalived目录下创建文件down，可以看到虚拟IP就转移到了node4上
将node2中的down文件删除可以看到VIP又回到了node2MASTER中，访问http://192.168.8.77虚拟IP可以看到nginx服务在node2上

第二步：编写通告脚本
node2和node4都需要编写，当某一节点发生VIP地址转移时就会发邮件通知管理员，在/etc/keepalived/目录下创建一个脚本文件,然后再在脚本文件中调用这个脚本就可以了，上面配置文件中已经有调用脚本内容了：
# vim /etc/keepalived/notify.sh

1. #!/bin/bash
   
2. # Description: An example of notify script
   
3. #
   
4. vip=192.168.8.77   # 定义VIP地址
   
5. contact='root@localhost'    # 这定义收件人
   
6. # 获取当前主机的IP地址
   
7. currentIP=`ifconfig eth0 | awk '/inet addr/{print $2}' | awk -F: '{print $2}'`
   
8. notify() {  # 定义通告方法
   
9.     # 定义一个发件的主体内容
   
10.     mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname`($currentIP) changed to be $1"
    
11.     # 定义发件的主题
    
12.     mailsubject="$currentIP to be $1: $vip floating"
    
13.     # 用mail命令把邮件发送出去
    
14.     echo $mailbody | mail -s "$mailsubject" $contact
    
15. }
    
16. case "$1" in    # 判断传进来的三个参数是什么，调用notify方法
    
17.     master)
    
18.         notify master
    
19.         exit 0;;
    
20.     backup)
    
21.         notify backup
    
22.         exit 0;;
    
23.     fault)
    
24.         notify fault
    
25.         exit 0;;
    
26.     *)
    
27.         echo "Usage: `basename $0` {master|backup|fault}"
    
28.         exit 1;;
    
29. esac

复制代码

第三步：配置LVS的集群服务
把下面代码加入到各节点的/etc/keepalived/keepalived.conf配置文件中即可，默认的配置文件中也有示例：

1. virtual_server 192.168.8.77 80 {   # 定义一个虚拟服务 VIP PORT
   
2.     delay_loop 6    # 大概延迟几个周期再去做服务检测的
   
3.     lb_algo rr      # 定义调度方法
   
4.     lb_kind DR      # LVS的模型，NET也可以
   
5.     nat_mask 255.255.255.0        # 掩码
   
6.     persistence_timeout 0       # 持久时间
   
7.     protocol TCP                # 协议，默认也是TCP
   
8.     real_server 192.168.8.39 80 {    # 定义真正的real_server   ip port
   
9.         weight 1        # 定义权重
   
10.         HTTP_GET {      # 请求方法
    
11.             url {       # 声明检测哪个URL
    
12.               path /
    
13.               status_code 200
    
14.             }
    
15.             connect_timeout 3   # 连接超时时间
    
16.             nb_get_retry 3      # 至少尝试几次
    
17.             delay_before_retry 3# 在每次尝试时要等上几秒钟
    
18.         }
    
19.     }
    
20.     real_server 192.168.8.42 80 {    # 定义真正的real_server   ip port
    
21.         weight 1        # 定义权重
    
22.         HTTP_GET {      # 请求方法
    
23.             url {       # 声明检测哪个URL
    
24.               path /
    
25.               status_code 200
    
26.             }
    
27.             connect_timeout 3   # 连接超时时间
    
28.             nb_get_retry 3      # 至少尝试几次
    
29.             delay_before_retry 3# 在每次尝试时要等上几秒钟
    
30.         }
    
31.     }
    
32. }

复制代码

在各节点上安装ipvsadm工具
# ansible keepalived -m yum -a "name=ipvsadm state=present"
通过ipvsadm命令可以看到集群节点已经启动了
即使没安装有ipvsadm，只要配置有keepalived的lvs，启动服务后就会自动生成LVS规则，但是如果没安装有ipvsadm就查看不了规则了

1. # ipvsadm -L -n
   
2. IP Virtual Server version 1.2.1 (size=4096)
   
3. Prot LocalAddress:Port Scheduler Flags
   
4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
   
5. [root@node2 keepalived]# ipvsadm -L -n
   
6. IP Virtual Server version 1.2.1 (size=4096)
   
7. Prot LocalAddress:Port Scheduler Flags
   
8.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
   
9. TCP  192.168.8.77:80 rr
   
10.   -> 192.168.8.39:80              Local   1      0          0         
    
11.   -> 192.168.8.42:80              Route   1      0          0         
    
12. [root@node2 keepalived]# ip addr
    
13. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    
14.     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    
15.     inet 127.0.0.1/8 scope host lo
    
16.     inet6 ::1/128 scope host
    
17.        valid_lft forever preferred_lft forever
    
18. 2: eth0:
    
19. mtu 1500 qdisc pfifo_fast state UP qlen 1000
    
20.     link/ether 00:0c:29:55:2e:82 brd ff:ff:ff:ff:ff:ff
    
21.     inet 192.168.8.39/24 brd 192.168.8.255 scope global eth0
    
22.     inet 192.168.8.77/32 scope global eth0
    
23.     inet6 fe80::20c:29ff:fe55:2e82/64 scope link
    
24.        valid_lft forever preferred_lft forever

复制代码

第四步：两个节点都配置有MASTER/BACKUP
定义两个实例，一个定义为MASTER，另一个定义为BACKUP就可以了，分别配置不同的VIP，node2上配置了MASTER的VIP为192.168.8.77，BACKUP的VIP为192.168.8.78；node4为上配置了MASTER的VIP为192.168.8.78，BACKUP的VIP为192.168.8.77。

# 这段代码在node2的节点上加，同样加为vrrp实例就可以了
vrrp_instance VI_2 {
    state BACKUP
    interface eth0
    virtual_router_id 33
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.8.78
    }
    track_script {
        chk_mantaince_down
#       chk_nginx
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

# 下面这段代码加到node4节点的配置文件上就可以了，就是需要改一个master和权重
vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 33
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.8.78
    }
    track_script {
        chk_mantaince_down
#       chk_nginx
    }
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

再次重启keepalived服务
# ansible keepalived -a "service keepalived restart"

结束：
   keepalived的vrrp的大概实现出来了，不管是LVS还是高可用VIP地址的自动转移，还是服务的高用，都需要认真的配置好，更有需要写好很多的脚本，使服务更回高效，更高可用。

feihu

太高级了，啥时能学会啊