设为首页收藏本站黑币充值VIP购买

黑帽联盟

 找回密码
 会员注册
黑帽联盟»论坛 › 系统/web安全 › linux交流 › keepalived+mysql实现双主高可用
返回列表 发新帖
查看: 2090|回复: 1

[集群服务] keepalived+mysql实现双主高可用

[复制链接]
定位 黑帽联盟官方人员 

852

主题

38

听众

3173

积分

白金VIP

Rank: 8Rank: 8

  • TA的每日心情
    开心
    2024-3-7 12:52

    • 签到天数: 1538 天

    [LV.Master]伴坛终老
    |显示全部楼层
    环境：

    DB1：centos6.8、mysql5.5、192.168.2.204  hostname：bogon

    DB2：centos6.8、mysql5.5、192.168.2.205  hostname：localhost.localdomain

    vip：192.168.2.33

    一、先配置DB1和DB2的双主热备

    1、分别在DB1和DB2上安装mysql，我这里是用的ansible自动部署
    1. [root@www ansible]# ansible-playbook lnmp.yml

    3. PLAY [new] *********************************************************************

    5. TASK [setup] *******************************************************************
    6. ok: [192.168.2.205]
    7. ok: [192.168.2.204]

    9. TASK [mysql : Create backup folder] ********************************************
    10. ok: [192.168.2.204]
    11. ok: [192.168.2.205]

    13. TASK [mysql : create log folder] ***********************************************
    14. changed: [192.168.2.204]
    15. changed: [192.168.2.205]

    17. TASK [mysql : copy mysql_tar_gz to client] *************************************
    18. changed: [192.168.2.204]
    19. changed: [192.168.2.205]

    21. TASK [mysql : copy install_script to client] ***********************************
    22. changed: [192.168.2.204]
    23. changed: [192.168.2.205]

    25. TASK [mysql : copy my.cnf to /data/backup] *************************************
    26. changed: [192.168.2.204]
    27. changed: [192.168.2.205]

    29. TASK [mysql : install mysql] ***************************************************
    30. changed: [192.168.2.204]
    31. changed: [192.168.2.205]

    33. PLAY RECAP *********************************************************************
    34. 192.168.2.204              : ok=7    changed=5    unreachable=0    failed=0   
    35. 192.168.2.205              : ok=7    changed=5    unreachable=0    failed=0
    复制代码
    2、修改mysql的配置文件

    首先修改DB1主机的配置文件，在/etc/my.cnf文件中的[mysqld]段添加以下内容
    1. [root@bogon ~]# vim /etc/my.cnf
    2. server-id = 1　　　　#节点标示，主从节点不能相同，必须全局唯一
    3. log-bin=mysql-bin　　#开启mysql的binlog日志功能
    4. relay-log = mysql-relay-bin 　　#开启relay-log日志，relay-log日志记录的是从服务器I/O线程将主服务器的二进制日志读取过来记录到从服务器本地文件，然后SQL线程会读取relay-log日志的内容并应用到从服务器
    5. replicate-wild-ignore-table=mysql.%　　#复制过滤选项
    6. replicate-wild-ignore-table=test.%
    7. replicate-wild-ignore-table=information_schema.%
    复制代码
    然后修改DB2主机的配置文件
    1. [root@localhost ~]# vim /etc/my.cnf
    2. server-id = 2
    3. log-bin=mysql-bin
    4. relay-log = mysql-relay-bin
    5. replicate-wild-ignore-table=mysql.%
    6. replicate-wild-ignore-table=test.%
    7. replicate-wild-ignore-table=information_schema.%
    复制代码
    最后分别重启DB1和DB2使配置生效



    3、创建复制用户并授权

    注：在执行主主互备之前要保证两台server上数据一致

    首先在DB1的mysql库中创建复制用户
    1. mysql> grant replication slave on *.* to 'repl_user'@'192.168.2.205' identified by 'repl_passwd';
    2. Query OK, 0 rows affected (0.04 sec)

    4. mysql> show master status;
    5. +------------------+----------+--------------+------------------+
    6. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    7. +------------------+----------+--------------+------------------+
    8. | mysql-bin.000004 |      271 |              |                  |
    9. +------------------+----------+--------------+------------------+
    10. row in set (0.00 sec)
    复制代码
    然后在DB2的mysql库中将DB1设为自己的主服务器
    1. mysql> change master to \
    2.     -> master_host='192.168.2.204',  
    3.     -> master_user='repl_user',
    4.     -> master_password='repl_passwd',
    5.     -> master_log_file='mysql-bin.000004',  
    6.     -> master_log_pos=271;
    7. Query OK, 0 rows affected (0.07 sec)
    复制代码
    这里需要注意master_log_file和master_log_pos两个选项，这两个选项的值是在DB1上通过“show master status” 查询到的结果

    接着在DB2上启动slave服务
    1. mysql> start slave;
    2. Query OK, 0 rows affected (0.01 sec)
    复制代码
    下面查看DB2上slave的运行状态
    1. mysql> show slave status\G
    2. *************************** 1. row ***************************
    3.                Slave_IO_State: Waiting for master to send event
    4.                   Master_Host: 192.168.2.204
    5.                   Master_User: repl_user
    6.                   Master_Port: 3306
    7.                 Connect_Retry: 60
    8.               Master_Log_File: mysql-bin.000005
    9.           Read_Master_Log_Pos: 271
    10.                Relay_Log_File: mysql-relay-bin.000002
    11.                 Relay_Log_Pos: 253
    12.         Relay_Master_Log_File: mysql-bin.000005
    13.              Slave_IO_Running: Yes　　　　#重点
    14.             Slave_SQL_Running: Yes　　　　#重点
    15.               Replicate_Do_DB:
    16.           Replicate_Ignore_DB:
    17.            Replicate_Do_Table:
    18.        Replicate_Ignore_Table:
    19.       Replicate_Wild_Do_Table:
    20.   Replicate_Wild_Ignore_Table: mysql.%,test.%,information_schema.%　　#跳过的表
    21.                    Last_Errno: 0
    22.                    Last_Error:
    23.                  Skip_Counter: 0
    24.           Exec_Master_Log_Pos: 271
    25.               Relay_Log_Space: 409
    26.               Until_Condition: None
    27.                Until_Log_File:
    28.                 Until_Log_Pos: 0
    29.            Master_SSL_Allowed: No
    30.            Master_SSL_CA_File:
    31.            Master_SSL_CA_Path:
    32.               Master_SSL_Cert:
    33.             Master_SSL_Cipher:
    34.                Master_SSL_Key:
    35.         Seconds_Behind_Master: 0
    36. Master_SSL_Verify_Server_Cert: No
    37.                 Last_IO_Errno: 0
    38.                 Last_IO_Error:
    39.                Last_SQL_Errno: 0
    40.                Last_SQL_Error:
    41.   Replicate_Ignore_Server_Ids:
    42.              Master_Server_Id: 1
    43. row in set (0.00 sec)
    复制代码
    到这里，从DB1到DB2的mysql主从复制已经完成。接下来开始配置从DB2到DB1的mysql主从复制

    在DB2的mysql库中创建复制用户
    1. mysql> grant replication slave on *.* to 'repl_user'@'192.168.2.204' identified by 'repl_passwd';
    2. Query OK, 0 rows affected (0.00 sec)

    4. mysql> show master status;
    5. +------------------+----------+--------------+------------------+
    6. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    7. +------------------+----------+--------------+------------------+
    8. | mysql-bin.000005 |      271 |              |                  |
    9. +------------------+----------+--------------+------------------+
    10. row in set (0.00 sec)
    复制代码
    然后在DB1的mysql库中将DB2设为自己的主服务器
    1. mysql> change master to \
    2.     -> master_host='192.168.2.205',
    3.     -> master_user='repl_user',
    4.     -> master_password='repl_passwd',
    5.     -> master_log_file='mysql-bin.000005',
    6.     -> master_log_pos=271;
    7. Query OK, 0 rows affected (0.07 sec)
    复制代码
    最后，在DB1上启动slave服务
    1. mysql> start slave;
    2. Query OK, 0 rows affected (0.01 sec)
    复制代码
    查看DB1上slave的运行状态
    1. mysql> show slave status\G
    2. *************************** 1. row ***************************
    3.                Slave_IO_State: Waiting for master to send event
    4.                   Master_Host: 192.168.2.205
    5.                   Master_User: repl_user
    6.                   Master_Port: 3306
    7.                 Connect_Retry: 60
    8.               Master_Log_File: mysql-bin.000005
    9.           Read_Master_Log_Pos: 271
    10.                Relay_Log_File: mysql-relay-bin.000002
    11.                 Relay_Log_Pos: 253
    12.         Relay_Master_Log_File: mysql-bin.000005
    13.              Slave_IO_Running: Yes
    14.             Slave_SQL_Running: Yes
    15.               Replicate_Do_DB:
    16.           Replicate_Ignore_DB:
    17.            Replicate_Do_Table:
    18.        Replicate_Ignore_Table:
    19.       Replicate_Wild_Do_Table:
    20.   Replicate_Wild_Ignore_Table: mysql.%,test.%,information_schema.%
    21.                    Last_Errno: 0
    22.                    Last_Error:
    23.                  Skip_Counter: 0
    24.           Exec_Master_Log_Pos: 271
    25.               Relay_Log_Space: 409
    26.               Until_Condition: None
    27.                Until_Log_File:
    28.                 Until_Log_Pos: 0
    29.            Master_SSL_Allowed: No
    30.            Master_SSL_CA_File:
    31.            Master_SSL_CA_Path:
    32.               Master_SSL_Cert:
    33.             Master_SSL_Cipher:
    34.                Master_SSL_Key:
    35.         Seconds_Behind_Master: 0
    36. Master_SSL_Verify_Server_Cert: No
    37.                 Last_IO_Errno: 0
    38.                 Last_IO_Error:
    39.                Last_SQL_Errno: 0
    40.                Last_SQL_Error:
    41.   Replicate_Ignore_Server_Ids:
    42.              Master_Server_Id: 2
    43. row in set (0.00 sec)
    复制代码
    二、配置keepalived实现mysql双主高可用

    1、安装keepalived
    1. [root@bogon src]# tar zxf keepalived-1.2.24.tar.gz
    2. [root@bogon src]# cd keepalived-1.2.24
    3. [root@bogon keepalived-1.2.24]# ./configure --sysconf=/etc --with-kernel-dir=/lib/modules/2.6.32-642.3.1.el6.x86_64/
    4. [root@bogon keepalived-1.2.24]# make && make install
    5. [root@bogon keepalived-1.2.24]# ln -s /usr/local/sbin/keepalived /sbin/
    6. [root@bogon keepalived-1.2.24]# chkconfig --add keepalived
    7. [root@bogon keepalived-1.2.24]# chkconfig --level 35 keepalived on
    8. [root@bogon keepalived-1.2.24]# yum  -y install ipvsadm  ####之前没安装ipvsadm，导致 keepalived配置中lvs配置部分不生效，其中定义的notify_down 字段死活不生效，查了好久在发现是没安装ipvsadm导致的，泪奔！！！
    9. [root@bogon keepalived-1.2.24]# ipvsadm
    复制代码
    2、配置keepalived

    DB1上keepalived.conf配置为
    1. [root@bogon keepalived-1.2.24]# cat /etc/keepalived/keepalived.conf
    2. ! Configuration File for keepalived

    4. global_defs {
    5.    notification_email {
    6.      root<span id="kM0.39992083176707727">@localhost</span>
    7.    }
    8.    notification_email_from keepalived<span id="kM0.17554743406903328">@localhost</span>
    9.    smtp_server 192.168.200.1
    10.    smtp_connect_timeout 30
    11.    router_id LVS_DEVEL
    12.    vrrp_skip_check_adv_addr
    13.    vrrp_strict
    14.    vrrp_garp_interval 0
    15.    vrrp_gna_interval 0
    16. }


    19. vrrp_instance HA_1 {
    20.     state BACKUP　　　　#在DB1和DB2上均配置为BACKUP
    21.     interface eth1
    22.     virtual_router_id 90
    23.     priority 100
    24.     advert_int 1
    25.     nopreempt　　　　#不抢占模式，只有优先级高的机器上设置即可，优先级低的机器可不设置
    26.     authentication {
    27.         auth_type PASS
    28.         auth_pass 1111
    29.     }
    30.     virtual_ipaddress {
    31.     192.168.2.33
    32.     }
    33. }

    35. virtual_server 192.168.2.33 3306 {
    36.      delay_loop 2
    37.      lb_algo wrr
    38.      lb_kind DR
    39.      persistence_timeout 60　　#会话保持时间
    40.      protocol TCP
    41.      real_server 192.168.2.204 3306 {
    42.          weight 3
    43.          notify_down /root/shutdown.sh　　#检测到服务down后执行的脚本
    44.          TCP_CHECK {
    45.              connect_timeout 10　　#连接超时时间
    46.              nb_get_retry 3　　　　#重连次数
    47.              delay_before_retry 3　　 #重连间隔时间  
    48.              connect_port 3306　　　　 #健康检查端口
    49.          }
    50.      }
    51. }
    复制代码
    DB2上keepalived.conf配置为
    1. [root@localhost keepalived-1.2.24]# cat /etc/keepalived/keepalived.conf
    2. ! Configuration File for keepalived

    4. global_defs {
    5.    notification_email {
    6. root<span id="kM0.5718797554368988">@localhost</span>
    7.    }
    8.    notification_email_from keepalived<span id="kM0.2670048335059181">@localhost</span>
    9.    smtp_server 192.168.200.1
    10.    smtp_connect_timeout 30
    11.    router_id LVS_DEVEL
    12.    vrrp_skip_check_adv_addr
    13.    vrrp_strict
    14.    vrrp_garp_interval 0
    15.    vrrp_gna_interval 0
    16. }

    18. vrrp_instance HA_1 {
    19.     state BACKUP
    20.     interface eth1
    21.     virtual_router_id 90
    22.     priority 90
    23.     advert_int 1
    24.     authentication {
    25.         auth_type PASS
    26.         auth_pass 1111
    27.     }
    28.     virtual_ipaddress {
    29.     192.168.2.33
    30.     }
    31. }

    33. virtual_server 192.168.2.33 3306 {
    34.      delay_loop 2
    35.      lb_algo wrr
    36.      lb_kind DR
    37.      persistence_timeout 60
    38.      protocol TCP
    39.      real_server 192.168.2.205 3306 {
    40.          weight 3
    41.          notify_down /root/shutdown.sh
    42.          TCP_CHECK {
    43.              connect_timeout 10
    44.              nb_get_retry 3
    45.              delay_before_retry 3
    46.              connect_port 3306
    47.          }
    48.      }
    49. }
    复制代码
    编写检测服务down后所要执行的脚本shutdown.sh
    1. [root@bogon ~]# cat /root/shtdown.sh
    2. #!/bin/bash
    3. killall keepalived
    复制代码
    注：此脚本是上面配置文件notify_down选项所用到的，keepalived使用notify_down选项来检查real_server的服务状态，当发现real_server服务故障时，便触发此脚本；我们可以看到，脚本就一个命令，通过killall keepalived强制杀死keepalived进程，从而实现了MySQL故障自动转移。另外，我们不用担心两个MySQL会同时提供数据更新操作，因为每台MySQL上的keepalived的配置里面只有本机MySQL的IP+VIP，而不是两台MySQL的IP+VIP


    启动keepalived并查看日志
    1. [root@bogon keepalived-1.2.24]# chmod 755 /etc/init.d/keepalived
    2. [root@bogon keepalived-1.2.24]# service keepalived start
    3. 正在启动 keepalived：                                      [确定]
    4. [root@bogon keepalived-1.2.24]# tail -f /var/log/messages
    5. Oct 24 22:37:35 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    6. Oct 24 22:37:35 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    7. Oct 24 22:37:35 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    8. Oct 24 22:37:35 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    9. Oct 24 22:37:40 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    10. Oct 24 22:37:40 bogon Keepalived_vrrp[20835]: VRRP_Instance(HA_1) Sending/queueing gratuitous ARPs on eth1 for 192.168.2.33
    11. Oct 24 22:37:40 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    12. Oct 24 22:37:40 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    13. Oct 24 22:37:40 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    14. Oct 24 22:37:40 bogon Keepalived_vrrp[20835]: Sending gratuitous ARP on eth1 for 192.168.2.33
    复制代码
    三、测试功能

    1、在远程客户端通过vip登陆测试
    1. [root@www ansible]# mysql -h 192.168.2.33 -uroot -p
    2. Enter password:
    3. Welcome to the MySQL monitor.  Commands end with ; or \g.
    4. Your MySQL connection id is 2372
    5. Server version: 5.5.37-log Source distribution

    7. Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.

    9. Oracle is a registered trademark of Oracle Corporation and/or its
    10. affiliates. Other names may be trademarks of their respective
    11. owners.

    13. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

    15. mysql>
    16.   mysql> show variables like "%hostname%"
    17.   -> ;
    18.   +---------------+-------+
    19.   | Variable_name | Value |
    20.   +---------------+-------+
    21.   | hostname      | bogon |
    22.   +---------------+-------+
    23. row in set (0.00 sec)
    复制代码
    从sql输出结果看，可以通过vip登陆，并且登陆了DB1服务器

    2、创建一个数据库，然后在这个库重创建一个表，并插入数据
    1. mysql> create database repldb;
    2. Query OK, 1 row affected (0.02 sec)

    4. mysql> show databases;
    5. +--------------------+
    6. | Database           |
    7. +--------------------+
    8. | information_schema |
    9. | mysql              |
    10. | performance_schema |
    11. | repldb             |
    12. | test               |
    13. +--------------------+
    14. rows in set (0.06 sec)

    16. mysql> use repldb;
    17. Database changed
    18. mysql> create table repl_table(id int,email varchar(80),password varchar(40) not null);
    19. Query OK, 0 rows affected (0.03 sec)

    21. mysql> show tables;
    22. +------------------+
    23. | Tables_in_repldb |
    24. +------------------+
    25. | repl_table       |
    26. +------------------+
    27. row in set (0.01 sec)

    29. mysql> insert into repl_table(id,email,password) values(1,"master@163.com","qweasd");
    30. Query OK, 1 row affected (0.00 sec)
    复制代码
    登陆DB2主机的mysql，可数据是否复制成功
    1. mysql> show variables like "%hostname%";
    2. +---------------+-----------------------+
    3. | Variable_name | Value                 |
    4. +---------------+-----------------------+
    5. | hostname      | localhost.localdomain |
    6. +---------------+-----------------------+
    7. row in set (0.01 sec)

    9. mysql> show databases;
    10. +--------------------+
    11. | Database           |
    12. +--------------------+
    13. | information_schema |
    14. | mysql              |
    15. | performance_schema |
    16. | repldb             |
    17. | test               |
    18. +--------------------+
    19. rows in set (0.05 sec)

    21. mysql> use repldb;
    22. Database changed
    23. mysql> show tables;
    24. +------------------+
    25. | Tables_in_repldb |
    26. +------------------+
    27. | repl_table       |
    28. +------------------+
    29. row in set (0.00 sec)


    32. mysql> select * from repl_table;
    33. +------+----------------+----------+
    34. | id   | email          | password |
    35. +------+----------------+----------+
    36. |    1 | master@163.com | qweasd   |
    37. +------+----------------+----------+
    38. row in set (0.08 sec)
    复制代码
    3、停止DB1主机上的mysql，查看故障是否自动转移
    1. [root@bogon ~]# service mysqld stop
    2. Shutting down MySQL.. SUCCESS!
    复制代码
    登陆192.168.2.33查看：
    1. mysql> show variables like "%hostname%";
    2. ERROR 2006 (HY000): MySQL server has gone away
    3. No connection. Trying to reconnect...
    4. Connection id:    610
    5. Current database: repldb

    7. +---------------+-----------------------+
    8. | Variable_name | Value                 |
    9. +---------------+-----------------------+
    10. | hostname      | localhost.localdomain |
    11. +---------------+-----------------------+
    12. row in set (0.01 sec)
    复制代码
    可以看到现在登陆的是DB2 故障自动切换成功

    接着，插入数据看DB1是否能复制
    1. mysql> insert into repl_table(id,email,password) values(2,"slave@163.com","qweasd");
    2. Query OK, 1 row affected (0.06 sec)

    4. mysql> use repldb;
    5. Database changed
    6. mysql> select * from repl_table;
    7. +------+----------------+----------+
    8. | id   | email          | password |
    9. +------+----------------+----------+
    10. |    1 | master@163.com | qweasd   |
    11. |    2 | slave@163.com  | qweasd   |
    12. +------+----------------+----------+
    13. rows in set (0.00 sec)
    复制代码
    登陆DB1查看表数据
    1. [root@bogon ~]# service mysqld start
    2. Starting MySQL. SUCCESS!
    3. [root@bogon ~]# mysql -uroot -p
    4. Enter password:
    5. Welcome to the MySQL monitor.  Commands end with ; or \g.
    6. Your MySQL connection id is 4
    7. Server version: 5.5.37-log Source distribution

    9. Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

    11. Oracle is a registered trademark of Oracle Corporation and/or its
    12. affiliates. Other names may be trademarks of their respective
    13. owners.

    15. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

    17. mysql> use repldb;
    18. Database changed
    19. mysql> select * from repl_table;
    20. +------+----------------+----------+
    21. | id   | email          | password |
    22. +------+----------------+----------+
    23. |    1 | master@163.com | qweasd   |
    24. |    2 | slave@163.com  | qweasd   |
    25. +------+----------------+----------+
    26. rows in set (0.02 sec)
    复制代码
    复制成功！


    到此全部完成！！

    mysql高可用, keepalived高可用, 数据库集群, linux集群

    相关帖子

    勿忘初心，方得始终！
    回复

    使用道具 举报

    feihu  

    52

    主题

    2

    听众

    310

    积分

    黑帽学员

    Rank: 3Rank: 3

  • TA的每日心情
    奋斗
    2019-9-27 16:27

    • 签到天数: 258 天

    [LV.8]以坛为家I
    |显示全部楼层
    keepalived是啥东西啊
    回复

    使用道具 举报

    返回列表 发新帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 会员注册

    发布主题 !fastreply! 收藏帖子 返回列表 搜索

    Archiver手机版

    Copyright © 2013-2023 黑帽联盟 (https://bbs.cnblackhat.com/) 版权所有 All Rights Reserved.

    免责声明: 本网不承担任何由内容提供商提供的信息所引起的争议和法律责任。客服QQ: 1074189538

    黑帽联盟 苏ICP备16048252号-2

    回顶部