MySQL高可用及读写分离

2020-01-21 分类:数据库相关 阅读(74) 评论(0)

关于MHA

MHA简介

MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。
在MySQL故障切换过程中,MHA能做到在10~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。
该软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。

MHA工作流程

1)把宕机的master二进制日志保存下来。
2)找到binlog位置点最新的slave。
3)在binlog位置点最新的slave上用relay log(差异日志)修复其它slave。
4)将宕机的master上保存下来的二进制日志恢复到含有最新位置点的slave上。
5)将含有最新位置点binlog所在的slave提升为master。
6)将其它slave重新指向新提升的master,并开启主从复制。

MHA工具介绍

MHA软件由两部分组成,Manager工具包和Node工具包,具体的说明如下:
Manager工具包主要包括以下几个工具:

masterha_check_ssh              #检查MHA的ssh-key
masterha_check_repl             #检查主从复制情况
masterha_manger                 #启动MHA
masterha_check_status           #检测MHA的运行状态
masterha_master_monitor         #检测master是否宕机
masterha_master_switch          #手动故障转移
masterha_conf_host              #手动添加server信息
masterha_secondary_check        #建立TCP连接从远程服务器
masterha_stop                   #停止MHA

Node工具包主要包括以下几个工具:

save_binary_logs                #保存宕机的master的binlog
apply_diff_relay_logs           #识别relay log的差异
filter_mysqlbinlog              #防止回滚事件
purge_relay_logs                #清除中继日志

MHA优点总结

1)Masterfailover and slave promotion can be done very quickly
自动故障转移快
2)Mastercrash does not result in data inconsistency
主库崩溃不存在数据一致性问题
3)Noneed to modify current MySQL settings (MHA works with regular MySQL)
不需要对当前mysql环境做重大修改
4)Noneed to increase lots of servers
不需要添加额外的服务器(仅一台manager就可管理上百个replication)
5)Noperformance penalty
性能优秀,可工作在半同步复制和异步复制,当监控mysql状态时,仅需要每隔N秒向master发送ping包(默认3秒),所以对性能无影响。你可以理解为MHA的性能和简单的主从复制框架性能一样。
6)Works with any storage engine
只要replication支持的存储引擎,MHA都支持,不会局限于innodb

MHA搭建

基本环境
MHA环境

主机名 外网IP 内网IP MySQL版本 系统版本 作用
db01 10.0.0.51 172.16.1.51 5.6.40 centos 7.5
node
db02 10.0.0.52 172.16.1.52 5.6.40 centos 7.5
node
db03 10.0.0.53 172.16.1.53 5.6.40 centos 7.5
node
db04 10.0.0.54 172.16.1.54 5.6.40 centos 7.5
node manager

MHA软件版本

[root@db01 ~]# ll
-rw-r--r--   1 root root    87119 Dec  4 01:28 mha4mysql-manager-0.56-0.el6.noarch.rpm
-rw-r--r--   1 root root    36326 Dec  4 01:28 mha4mysql-node-0.56-0.el6.noarch.rpm

基于GTID

主从配置

编辑配置文件  
主库配置内容

[root@db01 ~]# vim /etc/my.cnf
#在[mysqld]标签下添加
[mysqld]
log-bin=mysql-bin
gtid_mode=ON
enforce_gtid_consistency
log-slave-updates
server-id=1
skip_name_resolv

从库配置内容

# db02
[root@db02 ~]# vim /etc/my.cnf
[mysqld]
gtid_mode=ON
enforce_gtid_consistency
log-slave-updates
server_id = 2
skip_name_resolv
log-bin=mysql-bin

# db03
[root@db03 ~]# vim /etc/my.cnf
[mysqld]
gtid_mode=ON
enforce_gtid_consistency
log-slave-updates
server_id = 3
log-bin=mysql-bin
skip_name_resolve

# db04
[root@db04 ~]# vim /etc/my.cnf
[mysqld]
gtid_mode=ON
enforce_gtid_consistency
log-slave-updates
server_id = 4
log-bin=mysql-bin
skip_name_resolve

修改完重启

/etc/init.d/mysqld restart   #修改完配置文件 所有都要重启

检查GTID状态

mysql> show variables like '%gtid%';
+---------------------------------+-----------+
| Variable_name                   | Value     |
+---------------------------------+-----------+
| binlog_gtid_simple_recovery     | OFF       |
| enforce_gtid_consistency        | ON        |  #执行GTID一致
| gtid_executed                   |           |
| gtid_mode                       | ON        |  #开启GTID模块
| gtid_next                       | AUTOMATIC |
| gtid_owned                      |           |
| gtid_purged                     |           |
| simplified_binlog_gtid_recovery | OFF       |
+---------------------------------+-----------+

创建主从复制的用户

mysql> grant replication slave on *.* to slave@'172.16.1.%' identified by '1';
#在从库上执行以下操作

change master to
master_host='172.16.1.51',
master_user='slave',
master_password='1',
master_auto_position=1;

#启动slave
mysql> start slave;

检查

mysql> show slave status\G
主要看以下两个线程 都是Yes则为正确
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

注:主库从库都需要开启GTID否则在做主从复制的时候就会报错:

[root@db02 ~]# mysql -uroot -p
mysql> change master to
-> master_host='10.0.0.51',
-> master_user='rep',
-> master_password='nfsnobody123',
-> master_auto_position=1;
ERROR 1777 (HY000): CHANGE MASTER TO MASTER_AUTO_POSITION = 1 can only be executed when @@GLOBAL.GTID_MODE = ON.

MHA配置

基础操作
四台主机都要执行的内容

没有epel源需要先下载epel源
[root@db01 ~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
[root@db01 ~]# ll /etc/yum.repos.d/
-rw-r--r--. 1 root root 2523 Sep  4 05:06 CentOS-Base.repo
-rw-r--r--. 1 root root  664 Sep  4 05:06 epel.repo

安装依赖 安装node

yum install perl-DBD-MySQL -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

命令软连接(所有节点)

#如果不创建命令软连接,检测mha复制情况的时候会报错
ln -s /application/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /application/mysql/bin/mysql /usr/bin/mysql

在主从的基础上操作以下内容 db01上操作(所有节点都要有该用户)
因为做了主从在主库的所有操作都会在从库执行

[root@db01 ~]# mysql
mysql> grant all on *.* to mha@'172.16.1.%' identified by 'mha';
mysql> select user,host from mysql.user;

部署管理节点(mha-manager: db04)

[root@db04 ~]# yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
[root@db04 ~]# rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
#安装manager必须先安装node 不然会报错

分发秘钥 所有节点都要执行以下内容

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa >/dev/null 2>&1
ssh-copy-id -i /root/.ssh/id_dsa.pub root@172.16.1.51
ssh-copy-id -i /root/.ssh/id_dsa.pub root@172.16.1.52
ssh-copy-id -i /root/.ssh/id_dsa.pub root@172.16.1.53
ssh-copy-id -i /root/.ssh/id_dsa.pub root@172.16.1.54

在db04上操作
编辑配置文件

#创建配置文件目录
[root@db04 ~]# mkdir -p /etc/mha
#创建日志目录
[root@db04 ~]# mkdir -p /var/log/mha/app1
[root@db04 ~]# cat /etc/mha/app1.cnf
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/usr/local/mysql/data/
password=mha
ping_interval=2
repl_password=1
repl_user=slave
ssh_user=root
user=mha

[server1]
hostname=172.16.1.51
port=3306

[server2]
hostname=172.16.1.52
port=3306

[server3]
hostname=172.16.1.53
port=3306

[server4]
hostname=172.16.1.54
port=3306

配置文件详解

[server default]
#设置manager的工作目录
manager_workdir=/var/log/masterha/app1
#设置manager的日志
manager_log=/var/log/masterha/app1/manager.log
#设置master 保存binlog的位置,以便MHA可以找到master的日志,我这里的也就是mysql的数据目录
master_binlog_dir=/data/mysql
#设置自动failover时候的切换脚本
master_ip_failover_script= /usr/local/bin/master_ip_failover
#设置手动切换时候的切换脚本
master_ip_online_change_script= /usr/local/bin/master_ip_online_change
#设置mysql中root用户的密码,这个密码是前文中创建监控用户的那个密码
password=123456
#设置监控用户root
user=root
#设置监控主库,发送ping包的时间间隔,尝试三次没有回应的时候自动进行failover
ping_interval=1
#设置远端mysql在发生切换时binlog的保存位置
remote_workdir=/tmp
#设置复制用户的密码
repl_password=123456
#设置复制环境中的复制用户名
repl_user=rep
#设置发生切换后发送的报警的脚本
report_script=/usr/local/send_report
#一旦MHA到server02的监控之间出现问题,MHA Manager将会尝试从server03登录到server02
secondary_check_script= /usr/local/bin/masterha_secondary_check -s server03 -s server02 --user=root --master_host=server02 --master_ip=192.168.0.50 --master_port=3306
#设置故障发生后关闭故障主机脚本(该脚本的主要作用是关闭主机放在发生脑裂,这里没有使用)
shutdown_script=""
#设置ssh的登录用户名
ssh_user=root

[server1]
hostname=10.0.0.51
port=3306

[server2]
hostname=10.0.0.52
port=3306
#设置为候选master,如果设置该参数以后,发生主从切换以后将会将此从库提升为主库,即使这个主库不是集群中事件最新的slave。
candidate_master=1
#默认情况下如果一个slave落后master 100M的relay logs的话,MHA将不会选择该slave作为一个新的master,因为对于这个slave的恢复需要花费很长时间,通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时,这个参数对于设置了candidate_master=1的主机非常有用,因为这个候选主在切换的过程中一定是新的master
check_repl_delay=0

启动测试

#测试ssh   ssh失败检查秘钥分发是否正确
[root@db04 ~]# masterha_check_ssh --conf=/etc/mha/app1.cnf
#看到如下字样,则测试成功
Tue Mar  7 01:03:33 2017 - [info] All SSH connection tests passed successfully.
#测试复制
[root@db04 ~]# masterha_check_repl --conf=/etc/mha/app1.cnf
#看到如下字样,则测试成功
MySQL Replication Health is OK.

启动MHA

#启动
[root@db04 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
[root@db04 ~]# masterha_check_status --conf=/etc/mha/app1.cnf #检查状态

切换master测试

#停掉主库
[root@db01 ~]# /etc/init.d/mysqld stop
Shutting down MySQL..... SUCCESS!
#登录数据库(db02)
[root@db02 ~]# mysql
#查看slave状态
mysql> show slave status\G
#db02的slave已经为空
Empty set (0.00 sec)
#登录数据库(db03)
[root@mysql-db03 ~]# mysql
#查看slave状态
mysql> show slave status\G
Master_Host: 172.16.1.52
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

MHA恢复步骤

> 1.修复down机的主库
2.在MHA日志中找到:change master to语句
> grep -i 'change master to' /var/log/mha/app1/manager.log
3.连接旧主库,执行change master to语句
4.打开IO、SQL线程(start slave;)
5.把旧主库的server标签在MHA配置文件中添加回来
6.启动MHA

基于binlog

# db01
[root@db01 ~]# vim /etc/my.cnf
[mysqld]
server-id=1
log-bin=mysql-bin
skip_name_resolv

#db02
[root@db02 ~]# vim /etc/my.cnf
[mysqld]
server-id=2
log-bin=mysql-bin
skip_name_resolv

# db03
[root@db03 ~]# vim /etc/my.cnf
[mysqld]
server-id=3
log-bin=mysql-bin
skip_name_resolv

#db04
[root@db04 ~]# vim /etc/my.cnf
[mysqld]
server-id=4
log-bin=mysql-bin
skip_name_resolv

重启数据库

/etc/init.d/mysqld restart

binlog的主从指定语句

change master to
master_host='172.16.1.51',
master_user='slave',
master_password='1',
master_log_file='mysql-bin.000002',
master_log_pos=120;
start slave;          #启动slave
show slave status\G   #查看状态

配置VIP漂移

VIP漂移的两种方式
> 1)通过keepalived的方式,管理虚拟IP的漂移
2)通过MHA自带脚本方式,管理虚拟IP的漂移

MHA脚本方式

修改配置文件

#编辑配置文件
[root@db04 ~]# vim /etc/mha/app1.cnf
#在[server default]标签下添加
[server default]
#使用MHA自带脚本
master_ip_failover_script=/usr/local/bin/master_ip_failover

编辑脚本

#根据配置文件中脚本路径编辑
[root@db04 ~]# vim /etc/mha/master_ip_failover
#修改以下几行内容
my $vip = '172.16.1.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
#添加执行权限,否则mha无法启动
[root@db04 ~]# chmod +x /etc/mha/master_ip_failover

手动绑定VIP

#绑定vip 在主库上绑定
[root@db01 ~]# ifconfig eth1:1 172.16.1.55/24
#查看vip
[root@db01 ~]# ip a  #查看是否绑定成功

读写分离

Atlas简介

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。
它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。
读写分离可用软件

mycat
atlas
mysql-proxy

Atlas主要功能

> 1.读写分离
> 2.从库负载均衡
> 3.IP过滤
> 4.自动分表
> 5.DBA可平滑上下线DB
> 6.自动摘除宕机的DB

Atlas相对于官方MySQL-Proxy的优势

1.将主流程中所有Lua代码用C重写,Lua仅用于管理接口
2.重写网络模型、线程模型
3.实现了真正意义上的连接池
4.优化了锁机制,性能提高数十倍

部署安装Atlas

安装Atlas真的是炒鸡简单,官方提供的Atlas有两种:

1)Atlas (普通) : Atlas-2.2.1.el6.x86_64.rpm
2)Atlas (分表) : Atlas-sharding_1.0.1-el6.x86_64.rpm

安装atlas

[root@db04 ~]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm
[root@db04 ~]# cd /usr/local/mysql-proxy/
#管理接口的用户名
admin-username = user

#管理接口的密码
admin-password = pwd

#启动
/usr/local/mysql-proxy/bin/mysql-proxyd test start
#连接
mysql -uuser -ppwd -h127.0.0.1 -P2345

标签:

您可能也喜欢:

Redis主从复制及高可用

Redis主从复制 Redis复制功能介绍 1)使用异步复制。 2)一个主服务器可以有多个从服务器。 3)从服务器也可以有自己的从服务器。 4)复制功能不会阻塞主服务器。 5)可以通过复制功能来让主服务器免于执行持久化操作,由从服务器去执行持久化操作即可。 Redis复制功能介绍(重点了解) 1...

more

Redis事务、锁、管理命令

事务介绍 Redis的事务与关系型数据库中的事务区别 1)在MySQL中讲过的事务,具有A、C、I、D四个特性 Atomic(原子性) > 所有语句作为一个单元全部成功执行或全部取消。 Consistent(一致性) > 如果数据库在事务开始时处于一致状态,则在执行该。
事务期间将保...

more

Redis消息队列

生产消费模型 什么是消息队列 在生活中,其实有很多的例子,都类似消息队列。 比如:工厂生产出来的面包,交给超市,商场来出售,客户通过超市,商场来买面包,客户不会针对某一个工厂去选择,只管从超市买出来,工厂也不会管是哪一个客户买了面包,只管生产出来之后,交给超市,商场来处理。 消息队列(Messa...

more

欢迎新朋友你的到来!
还没有人抢沙发呢~
昵称
邮箱
网站

切换注册

登录

忘记密码 ?

切换登录

注册