MySql主从同步配置

摘要

MySql-AB复制是一种数据复制技术

  • MySQL提供的一种高性能、高可用的解决方案。
  • 复制
    • 单向复制:不要在slave上做写入操作,会导致主从数据不一致。
    • 双向复制
    • 异步复制
  • ab复制的模式
    • 一主一从
    • 一主多从
    • 双主
    • 多主多从

AB复制原理

主服务器必须开启二进制日志

  • 1)首先master将更新写入二进制日志,有一个二进制日志索引文件跟踪日志循环
  • 2)slave通过I/O线程向master索要二进制日志,slave知道从哪个binlog点开始索要
  • 3)master接收到slave的I/O请求之后,根据slave提供的位置点开始传输日志
  • 4)slave收到日志后,写入本地的relay log中
  • 5)slave通过SQL线程读取relay log,在数据库中执行相应的操作,至此,
    主从数据保持一致,从服务器进入等待状态,等待主服务器的下一次更新。

环境说明

  • 操作系统:CentOS 6.7 64位
  • MySQL数据库版本:mysql-5.5.35
  • master:172.16.0.100
  • slave:172.16.0.101

配置步骤:

注:一些基础环境配置需要自行完成

master端配置

修改配置文件

1
2
3
4
5
6
vim /etc/my.cnf
[mysqld]
log-bin=mysqlbin
log-bin-index=mysqlbin.index
server-id = 100 //保证主从id不一样
skip-name-resolve

重启mysql服务

1
2
3
4
/etc/init.d/mysqld restart

mysql -uroot -p
mysql> show variables like 'server_id';

授权一个用来实现复制的用户

1
2
mysql> grant replication slave,reload,super on *.* to slave@'172.16.0.101' identified by 'Test@slave123';
mysql> flush privileges;

做一次全库备份

1
2
mysql> flush tables with read lock; //保证备份数据一致
mysqldump -uroot -p --all-databases > /tmp/all.sql

将备份传到slave服务器

1
scp /tmp/all.sql 172.16.0.101:/tmp/

slave的配置

修改配置文件

1
2
3
4
5
vim /etc/my.cnf
[mysqld]
server-id = 101
relay_log=mysql-relay
relay_log_index=mysql-relay.index

停掉数据库(全新库不用做)

1
/etc/init.d/mysqld stop

初始化数据库(全新库不用做)

1
2
3
4
5
cd /data/mysql/
rm -rf *
cd /usr/local/mysql5.5.35/scripts/
./mysql_install_db --user=mysql --datadir=/data/mysql --basedir=/usr/local/mysql5.5.35
/etc/init.d/mysqld start

恢复来自master的数据

1
2
3
4
mysql < /tmp/all.sql

mysql -uroot -p
mysql> show variables like 'server_id';

在master上查看当前日志文件及位置点

1
2
3
4
5
6
mysql> show master status;
+------------------+-----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+-----------+--------------+------------------+
| mysql-bin.000008 | 119280673 | | |
+------------------+-----------+--------------+------------------+

在slave上手动同步数据

1
2
3
4
5
6
7
8
9
mysql> change master to master_host='172.16.0.100',master_port=3306,
master_user='slave',master_password='Test@slave123',
master_log_file='mysql-bin.000008',master_log_pos=119280673;
//开启从服务器
mysql> slave start;
//查看从服务器状态
mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

注意:当slave是start状态的时候,是不能够执行change的

master服务器解锁

1
mysql> unlock tables;

验证

1
2
3
4
5
6
在master上执行
mysql> create database myTest;
mysql> use myTest;
mysql> create table t1 (id int);
在slave上验证
mysql> show databases;

1
2
3
4
5
slave上报错如下:
ERROR 1201 (HY000): Could not initialize master info structure; more error messages can be found in the MySQL error log
解决办法:
删除master.info和relay-log.info文件
然后再执行change master to操作

配置MySQL GTID 主从复制

GTID是一个基于原始mysql服务器生成的一个已经被成功执行的全局事务ID,它由服务器ID以及事务ID组合而成。这个全局事务ID不仅仅在原始服务器器上唯一,在所有存在主从关系 的mysql服务器上也是唯一的。正是因为这样一个特性使得mysql的主从复制变得更加简单,以及数据库一致性更可靠。本文主要描述了快速配置一个基于GTID的主从复制架构,供大家参考。

GTID的概念

1
2
3
4
5
6
1、全局事务标识:global transaction identifiers。
2、GTID是一个事务一一对应,并且全局唯一ID。
3、一个GTID在一个服务器上只执行一次,避免重复执行导致数据混乱或者主从不一致。
4、GTID用来代替传统复制方法,不再使用MASTER_LOG_FILE+MASTER_LOG_POS开启复制。而是使用MASTER_AUTO_POSTION=1的方式开始复制。
5、MySQL-5.6.5开始支持的,MySQL-5.6.10后开始完善。
6、在传统的slave端,binlog是不用开启的,但是在GTID中slave端的binlog是必须开启的,目的是记录执行过的GTID(强制)。

GTID的组成

1
2
3
4
5
6
GTID = source_id:transaction_id
source_id,用于鉴别原服务器,即mysql服务器唯一的的server_uuid,由于GTID会传递到slave,所以也可以理解为源ID。
transaction_id,为当前服务器上已提交事务的一个序列号,通常从1开始自增长的序列,一个数值对应一个事务。
示例:
3E11FA47-71CA-11E1-9E33-C80AA9429562:23
前面的一串为服务器的server_uuid,即3E11FA47-71CA-11E1-9E33-C80AA9429562,后面的23为transaction_id

GTID的优势

1
2
3
4
1、更简单的实现failover,不用以前那样在需要找log_file和log_pos。
2、更简单的搭建主从复制。
3、比传统的复制更加安全。
4、GTID是连续的没有空洞的,保证数据的一致性,零丢失。

GTID的工作原理

1
2
3
4
5
6
7
1、当一个事务在主库端执行并提交时,产生GTID,一同记录到binlog日志中。
2、binlog传输到slave,并存储到slave的relaylog后,读取这个GTID的这个值设置gtid_next变量,即告诉Slave,下一个要执行的GTID值。
3、sql线程从relay log中获取GTID,然后对比slave端的binlog是否有该GTID。
4、如果有记录,说明该GTID的事务已经执行,slave会忽略。
5、如果没有记录,slave就会执行该GTID事务,并记录该GTID到自身的binlog,
在读取执行事务前会先检查其他session持有该GTID,确保不被重复执行。
6、在解析过程中会判断是否有主键,如果没有就用二级索引,如果没有就用全部扫描。

配置GTID

对于GTID的配置,主要修改配置文件中与GTID特性相关的几个重要参数(建议使用mysql-5.6.5以上版本),如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
1、主:
[mysqld]
#GTID:
server_id=135 #服务器id
gtid_mode=on #开启gtid模式
enforce_gtid_consistency=on #强制gtid一致性,开启后对于特定create table不被支持

#binlog
log_bin=master-binlog
log-slave-updates=1
binlog_format=row #强烈建议,其他格式可能造成数据不一致

#relay log
skip_slave_start=1

2、从:
[mysqld]
#GTID:
gtid_mode=on
enforce_gtid_consistency=on
server_id=143

#binlog
log-bin=slave-binlog
log-slave-updates=1
binlog_format=row #强烈建议,其他格式可能造成数据不一致

#relay log
skip_slave_start=1

配置基于GTID的复制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
1、新配置的mysql服务器
对于新配置的mysql服务器,按本文第五点描述配置参数文件后,在slave端执行以下操作
(root@localhost) [(none)]> CHANGE MASTER TO
-> MASTER_HOST='192.168.1.135',
-> MASTER_USER='repl',
-> MASTER_PASSWORD='xxx',
-> MASTER_PORT=3306,
-> MASTER_AUTO_POSITION = 1;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

(root@localhost) [(none)]> start slave;
Query OK, 0 rows affected (0.01 sec)

(root@localhost) [(none)]> show slave status \G ###可以看到复制工作已经开始且正常
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.1.135
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: master-binlog.000001
Read_Master_Log_Pos: 151
Relay_Log_File: slave-relay-log.000002
Relay_Log_Pos: 369
Relay_Master_Log_File: master-binlog.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

2、已运行经典复制mysql服务器转向GTID复制
a、按本文第五点描述配置参数文件;
b、所有服务器设置global.read_only参数,等待主从服务器同步完毕;
mysql> SET @@global.read_only = ON;
c、依次重启主从服务器;
d、使用change master 更新主从配置;
mysql> CHANGE MASTER TO
> MASTER_HOST = host,
> MASTER_PORT = port,
> MASTER_USER = user,
> MASTER_PASSWORD = password,
> MASTER_AUTO_POSITION = 1;
e、从库开启复制
mysql> START SLAVE;
f、验证主从复制