keepalived 安装、配置

发表于   |   分类于   |  

一、keepalived是什么

keepalived是linux集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障。
官网地址：http://www.keepalived.org/

1、keepalived工作原理：
keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

简单来说，keepalived对外提供一个虚拟ip（vip），master定期向slave发送组播，当slave在一定时间内没有接收到组播时，会根据priority选举一个slave来接管这个虚拟ip，继续对外提供服务。

2、keepalived主要有三个模块，分别是core、check和vrrp。

  • core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。
  • check负责健康检查，包括常见的各种检查方式。
  • vrrp模块是来实现VRRP协议的。

二、keepalived安装

1、下载keepalived，解压：
wget http://www.keepalived.org/software/keepalived-1.2.17.tar.gz
[root@centOS2 local]# tar -xvzf keepalived-1.2.17.tar.gz

2、编译、安装：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
[root@centOS2 keepalived-1.2.17]# cd keepalived-1.2.17
[root@centOS2 keepalived-1.2.17]# ./configure
Keepalived configuration
\------------------------
Keepalived version       : 1.2.17
Compiler                 : gcc
Compiler flags           : -g -O2
Extra Lib                : -lssl -lcrypto -lcrypt 
Use IPVS Framework       : Yes
IPVS sync daemon support : Yes
IPVS use libnl           : No
fwmark socket support    : Yes
Use VRRP Framework       : Yes
Use VRRP VMAC            : Yes
SNMP support             : No
SHA1 support             : No
Use Debug flags          : No

[root@centOS2 keepalived-1.2.17]# make
[root@centOS2 keepalived-1.2.17]# make install
make -C keepalived install
make[1]: Entering directory `/usr/local/keepalived-1.2.17/keepalived'
install -d /usr/local/sbin
install -m 700 ../bin/keepalived /usr/local/sbin/
install -d /usr/local/etc/rc.d/init.d
install -m 755 etc/init.d/keepalived.init /usr/local/etc/rc.d/init.d/keepalived
install -d /usr/local/etc/sysconfig
install -m 644 etc/init.d/keepalived.sysconfig /usr/local/etc/sysconfig/keepalived
install -d /usr/local/etc/keepalived/samples
install -m 644 etc/keepalived/keepalived.conf /usr/local/etc/keepalived/
install -m 644 ../doc/samples/* /usr/local/etc/keepalived/samples/
install -d /usr/local/share/man/man5
install -d /usr/local/share/man/man8
install -m 644 ../doc/man/man5/keepalived.conf.5 /usr/local/share/man/man5
install -m 644 ../doc/man/man8/keepalived.8 /usr/local/share/man/man8
make[1]: Leaving directory `/usr/local/keepalived-1.2.17/keepalived'
make -C genhash install
make[1]: Entering directory `/usr/local/keepalived-1.2.17/genhash'
install -d /usr/local/bin
install -m 755 ../bin/genhash /usr/local/bin/
install -d /usr/local/share/man/man1
install -m 644 ../doc/man/man1/genhash.1 /usr/local/share/man/man1
make[1]: Leaving directory `/usr/local/keepalived-1.2.17/genhash'
mkdir -p /usr/share/snmp/mibs/
cp -f doc/VRRP-MIB /usr/share/snmp/mibs/
cp -f doc/KEEPALIVED-MIB /usr/share/snmp/mibs/

3、准备工作：

默认情况下，keepalived 会读取 /etc/keepalived 下keepalived.conf 文件，如果你没有建立这个文件，keepalived也不会报错

1
2
3
4
5
6
7
8
[root@centOS2 local]# mkdir  /etc/keepalived 
[root@centOS2 local]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

[root@centOS2 local]# cp /usr/local/sbin/keepalived /usr/sbin/

[root@centOS2 local]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

[root@centOS2 local]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

4、启动、关闭 keepalived：

  • 启动
    [root@centOS2 local]# service keepalived start
    Starting keepalived: [ OK ]

  • 关闭
    [root@centOS2 local]# service keepalived stop
    Stopping keepalived: [ OK ]

  • 开机自启动
    [root@centOS2 local]# vim /etc/rc.local
    里面添加 service keepalived start

注：configure时有可能报以下错：

1
2
3
4
5
6
checking for openssl/ssl.h... no
configure: error: 
  !!! OpenSSL is not properly installed on your system. !!!
  !!! Can not include OpenSSL headers files.            !!!

[root@centOS2 keepalived-1.2.17]# yum install -y openssl openssl-devel

三、keepalived的配置

keepalived只有一个配置文件keepalived.conf，里面主要包括以下几个配置区域，分别是：global_defs、static_ipaddress、static_routes、vrrp_script、vrrp_instance和virtual_server。

1、global_defs区域：

1
2
3
4
5
6
7
8
9
10
11
12
global_defs {
    notification_email {
        a@abc.com
        b@abc.com
        ...
    }
    notification_email_from alert@abc.com
    smtp_server smtp.abc.com
    smtp_connect_timeout 30
    enable_traps
    router_id host163
}
  • notification_email 故障发生时给谁发邮件通知。
  • notification_email_from 通知邮件从哪个地址发出。
  • smpt_server 通知邮件的smtp地址。
  • smtp_connect_timeout 连接smtp服务器的超时时间。
  • enable_traps 开启SNMP陷阱（Simple Network Management Protocol）。
  • router_id 标识本节点的字条串，通常为hostname，但不一定非得是hostname。故障发生时，邮件通知会用到。一般只配这个即可。

2、static_ipaddress和static_routes区域：

static_ipaddress和static_routes区域配置的是是本节点的IP和路由信息。如果你的机器上已经配置了IP和路由，那么这两个区域可以不用配置。其实，一般情况下你的机器都会有IP地址和路由信息的，因此没必要再在这两个区域配置。

1
2
3
4
5
6
7
8
static_ipaddress {
    10.210.214.163/24 brd 10.210.214.255 dev eth0
    ...
}
static_routes {
    10.0.0.0/8 via 10.210.214.1 dev eth0
    ...
}

3、vrrp_script区域：

用来做健康检查的，当时检查失败时会将vrrp_instance的priority减少相应的值。

1
2
3
4
5
vrrp_script chk_http_port {
    script "</dev/tcp/127.0.0.1/80"
    interval 1
    weight -10
}

以上意思是如果script中的指令执行失败，那么相应的vrrp_instance的优先级会减少10个点。

4、vrrp_instance和vrrp_sync_group区域：

vrrp_instance用来定义对外提供服务的VIP区域及其相关属性。vrrp_rsync_group用来定义vrrp_intance组，使得这个组内成员动作一致。举个例子来说明一下其功能：

两个vrrp_instance同属于一个vrrp_rsync_group，那么其中一个vrrp_instance发生故障切换时，另一个vrrp_instance也会跟着切换（即使这个instance没有发生故障）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
vrrp_sync_group VG_1 {
    group {
        inside_network   # name of vrrp_instance (below)
        outside_network  # One for each moveable IP.
        ...
    }
    notify_master /path/to_master.sh
    notify_backup /path/to_backup.sh
    notify_fault "/path/fault.sh VG_1"
    notify /path/notify.sh
    smtp_alert
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    use_vmac <VMAC_INTERFACE>
    dont_track_primary
    track_interface {
        eth0
        eth1
    }
    mcast_src_ip <IPADDR>
    lvs_sync_daemon_interface eth1
    garp_master_delay 10
    virtual_router_id 1
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 12345678
    }
    virtual_ipaddress {
        10.210.214.253/24 brd 10.210.214.255 dev eth0
        192.168.1.11/24 brd 192.168.1.255 dev eth1
    }
    virtual_routes {
        172.16.0.0/12 via 10.210.214.1
        192.168.1.0/24 via 192.168.1.1 dev eth1
        default via 202.102.152.1
    }
    track_script {
        chk_http_port
    }
    nopreempt
    preempt_delay 300
    debug
    notify_master <STRING>|<QUOTED-STRING>
    notify_backup <STRING>|<QUOTED-STRING>
    notify_fault <STRING>|<QUOTED-STRING>
    notify <STRING>|<QUOTED-STRING>
    smtp_alert
}

说明：

  • notify_master/backup/fault 分别表示切换为主/备/出错时所执行的脚本。
  • notify 表示任何一状态切换时都会调用该脚本，并且该脚本在以上三个脚本执行完成之后进行调用，keepalived会自动传递三个参数（$1 = “GROUP”|”INSTANCE”，$2 = name of group or instance，$3 = target state of transition(MASTER/BACKUP/FAULT)）。
  • smtp_alert 表示是否开启邮件通知（用全局区域的邮件设置来发通知）。
  • state 可以是MASTER或BACKUP，不过当其他节点keepalived启动时会将priority比较大的节点选举为MASTER，因此该项其实没有实质用途。
  • interface 节点固有IP（非VIP）的网卡，用来发VRRP包。
  • use_vmac 是否使用VRRP的虚拟MAC地址。
  • dont_track_primary 忽略VRRP网卡错误。（默认未设置）
  • track_interface 监控以下网卡，如果任何一个不通就会切换到FALT状态。（可选项）
  • mcast_src_ip 修改vrrp组播包的源地址，默认源地址为master的IP。（由于是组播，因此即使修改了源地址，该master还是能收到回应的）
  • lvs_sync_daemon_interface 绑定lvs syncd的网卡。
  • garp_master_delay 当切为主状态后多久更新ARP缓存，默认5秒。
  • virtual_router_id 取值在0-255之间，用来区分多个instance的VRRP组播。
  • priority 用来选举master的，要成为master，那么这个选项的值最好高于其他机器50个点，该项取值范围是1-255（在此范围之外会被识别成默认值100）。
  • advert_int 发VRRP包的时间间隔，即多久进行一次master选举（可以认为是健康查检时间间隔）。
  • authentication 认证区域，认证类型有PASS和HA（IPSEC），推荐使用PASS（密码只识别前8位）。
  • virtual_ipaddress vip，不解释了。
  • virtual_routes 虚拟路由，当IP漂过来之后需要添加的路由信息。
  • virtual_ipaddress_excluded 发送的VRRP包里不包含的IP地址，为减少回应VRRP包的个数。在网卡上绑定的IP地址比较多的时候用。
  • nopreempt 允许一个priority比较低的节点作为master，即使有priority更高的节点启动。
  • preempt_delay master启动多久之后进行接管资源（VIP/Route信息等），并提是没有nopreempt选项。

注：首先nopreemt必须在state为BACKUP的节点上才生效（因为是BACKUP节点决定是否来成为MASTER的），其次要实现类似于关闭auto failback的功能需要将所有节点的state都设置为BACKUP，或者将master节点的priority设置的比BACKUP低。我个人推荐使用将所有节点的state都设置成BACKUP并且都加上nopreempt选项，这样就完成了关于autofailback功能，当想手动将某节点切换为MASTER时只需去掉该节点的nopreempt选项并且将priority改的比其他节点大，然后重新加载配置文件即可（等MASTER切过来之后再将配置文件改回去再reload一下）。

5、virtual_server_group和virtual_server区域：

virtual_server_group一般在超大型的LVS中用到，一般LVS用不过这东西，因此不多说。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
virtual_server IP Port {
    delay_loop <INT>
    lb_algo rr|wrr|lc|wlc|lblc|sh|dh
    lb_kind NAT|DR|TUN
    persistence_timeout <INT>
    persistence_granularity <NETMASK>
    protocol TCP
    ha_suspend
    virtualhost <STRING>
    alpha
    omega
    quorum <INT>
    hysteresis <INT>
    quorum_up <STRING>|<QUOTED-STRING>
    quorum_down <STRING>|<QUOTED-STRING>
    sorry_server <IPADDR> <PORT>
    real_server <IPADDR> <PORT> {
        weight <INT>
        inhibit_on_failure
        notify_up <STRING>|<QUOTED-STRING>
        notify_down <STRING>|<QUOTED-STRING>
        # HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK
        HTTP_GET|SSL_GET {
            url {
                path <STRING>
                # Digest computed with genhash
                digest <STRING>
                status_code <INT>
            }
            connect_port <PORT>
            connect_timeout <INT>
            nb_get_retry <INT>
            delay_before_retry <INT>
        }
    }
}
  • delay_loop 延迟轮询时间（单位秒）。
  • lb_algo 后端调试算法（load balancing algorithm）。
  • lb_kind LVS调度类型NAT/DR/TUN。
  • virtualhost 用来给HTTP_GET和SSL_GET配置请求header的。
  • sorry_server 当所有real server宕掉时，sorry server顶替。
  • real_server 真正提供服务的服务器。
  • weight 权重。
  • notify_up/down 当real server宕掉或启动时执行的脚本。
  • 健康检查的方式，N多种方式。
  • path 请求real serserver上的路径。
  • digest/status_code 分别表示用genhash算出的结果和http状态码。
  • connect_port 健康检查，如果端口通则认为服务器正常。
  • connect_timeout,nb_get_retry,delay_before_retry分别表示超时时长、重试次数，下次重试的时间延迟。

参考：http://outofmemory.cn/wiki/keepalived-configuration

四、keepalived 应用

1、keepalived常用来做双机热备，集群中的高可用（HA）解决方案，如下：

  • linux上使用keepalived+nginx 搭建双机热备的高可用nginx；
  • linux上使用keepalived+mysql 搭建mysql的高可用服务；

2、keepalived的监控类型：

  • 主服务器网络不通；
  • 主服务器keepalived服务down掉；

  • 应用程序的服务；

    最常见的两种就是主服务器网络不通和主服务器keepalived服务down掉，备份机能够自动接管。 监控应用程序的服务状态，可以用vrrp_script实现（也可以通过监控服务器的某一个端口来完成监控应用程序）。

具体实例，在下一篇文章中介绍。