MySql主从同步配置

发表于 | 更新于 | 分类于 ， | 评论数： | 阅读次数：
本文字数： 6.1k | 阅读时长 ≈ 6 分钟

摘要

本文部分内容来源于网络，个人收集整理，请勿传播

MySql-AB复制是一种数据复制技术

  • MySQL提供的一种高性能、高可用的解决方案。
  • 复制
    • 单向复制：不要在slave上做写入操作，会导致主从数据不一致。
    • 双向复制
    • 异步复制
  • ab复制的模式
    • 一主一从
    • 一主多从
    • 双主
    • 多主多从

AB复制原理

主服务器必须开启二进制日志

  • 1）首先master将更新写入二进制日志，有一个二进制日志索引文件跟踪日志循环
  • 2）slave通过I/O线程向master索要二进制日志，slave知道从哪个binlog点开始索要
  • 3）master接收到slave的I/O请求之后，根据slave提供的位置点开始传输日志
  • 4）slave收到日志后，写入本地的relay log中
  • 5）slave通过SQL线程读取relay log，在数据库中执行相应的操作，至此，
    主从数据保持一致，从服务器进入等待状态，等待主服务器的下一次更新。

环境说明

  • 操作系统：CentOS 6.7 64位
  • MySQL数据库版本：mysql-5.5.35
  • master：172.16.0.100
  • slave：172.16.0.101

配置步骤：

注：一些基础环境配置需要自行完成

master端配置

修改配置文件

1
2
3
4
5
6
vim /etc/my.cnf
    [mysqld]
    log-bin=mysqlbin
    log-bin-index=mysqlbin.index
    server-id = 100 //保证主从id不一样
    skip-name-resolve

重启mysql服务

1
2
3
4
/etc/init.d/mysqld restart

mysql -uroot -p
mysql> show variables like 'server_id';

授权一个用来实现复制的用户

1
2
mysql> grant replication slave,reload,super on *.* to slave@'172.16.0.101' identified by 'Test@slave123';
mysql> flush privileges;

做一次全库备份

1
2
mysql> flush tables with read lock; //保证备份数据一致
mysqldump -uroot -p --all-databases > /tmp/all.sql

将备份传到slave服务器

1
scp /tmp/all.sql 172.16.0.101:/tmp/

slave的配置

修改配置文件

1
2
3
4
5
vim /etc/my.cnf
    [mysqld]
    server-id = 101
    relay_log=mysql-relay
    relay_log_index=mysql-relay.index

停掉数据库(全新库不用做)

1
/etc/init.d/mysqld stop

初始化数据库(全新库不用做)

1
2
3
4
5
cd /data/mysql/
rm -rf *
cd /usr/local/mysql5.5.35/scripts/
./mysql_install_db --user=mysql --datadir=/data/mysql --basedir=/usr/local/mysql5.5.35
/etc/init.d/mysqld start

恢复来自master的数据

1
2
3
4
mysql < /tmp/all.sql

mysql -uroot -p
mysql> show variables like 'server_id';

在master上查看当前日志文件及位置点

1
2
3
4
5
6
mysql> show master status;
+------------------+-----------+--------------+------------------+
| File             | Position  | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+-----------+--------------+------------------+
| mysql-bin.000008 | 119280673 |              |                  |
+------------------+-----------+--------------+------------------+

在slave上手动同步数据

1
2
3
4
5
6
7
8
9
mysql> change master to master_host='172.16.0.100',master_port=3306,
master_user='slave',master_password='Test@slave123',
master_log_file='mysql-bin.000008',master_log_pos=119280673;
 //开启从服务器
mysql> slave start;
 //查看从服务器状态
mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

注意：当slave是start状态的时候，是不能够执行change的

master服务器解锁

1
mysql> unlock tables;

验证

1
2
3
4
5
6
在master上执行
mysql> create database myTest;
mysql> use myTest;
mysql> create table t1 (id int);
在slave上验证
mysql> show databases;
1
2
3
4
5
slave上报错如下：
ERROR 1201 (HY000): Could not initialize master info structure; more error messages can be found in the MySQL error log
解决办法：
删除master.info和relay-log.info文件
然后再执行change master to操作

配置MySQL GTID 主从复制

GTID是一个基于原始mysql服务器生成的一个已经被成功执行的全局事务ID，它由服务器ID以及事务ID组合而成。这个全局事务ID不仅仅在原始服务器器上唯一，在所有存在主从关系 的mysql服务器上也是唯一的。正是因为这样一个特性使得mysql的主从复制变得更加简单，以及数据库一致性更可靠。本文主要描述了快速配置一个基于GTID的主从复制架构，供大家参考。

GTID的概念

1
2
3
4
5
6
1、全局事务标识：global transaction identifiers。
2、GTID是一个事务一一对应，并且全局唯一ID。
3、一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致。
4、GTID用来代替传统复制方法，不再使用MASTER_LOG_FILE+MASTER_LOG_POS开启复制。而是使用MASTER_AUTO_POSTION=1的方式开始复制。
5、MySQL-5.6.5开始支持的，MySQL-5.6.10后开始完善。
6、在传统的slave端，binlog是不用开启的，但是在GTID中slave端的binlog是必须开启的，目的是记录执行过的GTID（强制）。

GTID的组成

1
2
3
4
5
6
GTID = source_id:transaction_id
source_id，用于鉴别原服务器，即mysql服务器唯一的的server_uuid，由于GTID会传递到slave，所以也可以理解为源ID。
transaction_id，为当前服务器上已提交事务的一个序列号，通常从1开始自增长的序列，一个数值对应一个事务。        
示例：          
3E11FA47-71CA-11E1-9E33-C80AA9429562:23
前面的一串为服务器的server_uuid，即3E11FA47-71CA-11E1-9E33-C80AA9429562，后面的23为transaction_id

GTID的优势

1
2
3
4
1、更简单的实现failover，不用以前那样在需要找log_file和log_pos。
2、更简单的搭建主从复制。
3、比传统的复制更加安全。
4、GTID是连续的没有空洞的，保证数据的一致性，零丢失。

GTID的工作原理

1
2
3
4
5
6
7
1、当一个事务在主库端执行并提交时，产生GTID，一同记录到binlog日志中。
2、binlog传输到slave,并存储到slave的relaylog后，读取这个GTID的这个值设置gtid_next变量，即告诉Slave，下一个要执行的GTID值。
3、sql线程从relay log中获取GTID，然后对比slave端的binlog是否有该GTID。
4、如果有记录，说明该GTID的事务已经执行，slave会忽略。
5、如果没有记录，slave就会执行该GTID事务，并记录该GTID到自身的binlog，
   在读取执行事务前会先检查其他session持有该GTID，确保不被重复执行。
6、在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描。

配置GTID

对于GTID的配置，主要修改配置文件中与GTID特性相关的几个重要参数(建议使用mysql-5.6.5以上版本)，如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
1、主：
[mysqld]
#GTID:
server_id=135                #服务器id
gtid_mode=on                 #开启gtid模式
enforce_gtid_consistency=on  #强制gtid一致性，开启后对于特定create table不被支持

#binlog
log_bin=master-binlog
log-slave-updates=1    
binlog_format=row            #强烈建议，其他格式可能造成数据不一致

#relay log
skip_slave_start=1            

2、从：
[mysqld]
#GTID:
gtid_mode=on
enforce_gtid_consistency=on
server_id=143

#binlog
log-bin=slave-binlog
log-slave-updates=1
binlog_format=row      #强烈建议，其他格式可能造成数据不一致

#relay log
skip_slave_start=1

配置基于GTID的复制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
1、新配置的mysql服务器
对于新配置的mysql服务器，按本文第五点描述配置参数文件后，在slave端执行以下操作
(root@localhost) [(none)]> CHANGE MASTER TO  
    ->  MASTER_HOST='192.168.1.135',    
    ->  MASTER_USER='repl',    
    ->  MASTER_PASSWORD='xxx',    
    ->  MASTER_PORT=3306,    
    ->  MASTER_AUTO_POSITION = 1;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

(root@localhost) [(none)]> start slave;
Query OK, 0 rows affected (0.01 sec)

(root@localhost) [(none)]> show slave status \G ###可以看到复制工作已经开始且正常
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.135
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-binlog.000001
          Read_Master_Log_Pos: 151
               Relay_Log_File: slave-relay-log.000002
                Relay_Log_Pos: 369
        Relay_Master_Log_File: master-binlog.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

2、已运行经典复制mysql服务器转向GTID复制
a、按本文第五点描述配置参数文件；
b、所有服务器设置global.read_only参数，等待主从服务器同步完毕；
        mysql> SET @@global.read_only = ON; 
c、依次重启主从服务器；
d、使用change master 更新主从配置；
        mysql> CHANGE MASTER TO
        > MASTER_HOST = host,
        > MASTER_PORT = port,
        > MASTER_USER = user,
        > MASTER_PASSWORD = password,
        > MASTER_AUTO_POSITION = 1;
e、从库开启复制
        mysql> START SLAVE;
f、验证主从复制