详解MySQL半同步复制技术，提高数据安全性和一致性，配置部署及参数说明。
原文标题：数据库系列之MySQL半同步复制技术
原文作者：牧羊人的方向
冷月清谈：
怜星夜思：
2、MySQL 8.0 也支持半同步复制，它与 5.7 版本的半同步复制相比有哪些改进？在选择版本时应该如何考虑？
3、除了半同步复制，MySQL 还支持其他哪些复制技术？它们各自的优缺点是什么？在什么场景下更适合使用哪种复制技术？
原文内容
本文简要介绍了MySQL半同步复制技术及配置部署，以加深对MySQL半同步复制技术的理解。
1、MySQL半同步复制
1） 发送binlog和接收ack异步化
相较于之前版本的mysql半同步技术中，将dump线程的发送和接收工作分为两个线程来处理，这样可以同时发送binlog到slave和接收slave的ack信息，提升了性能。
2） Binlog互斥锁
3） SYNC_BINLOG配置
-
默认为sync_binlog=0，表示mysql不控制binlog的刷新，binlog sync磁盘由操作系统负责。这个时候性能是最好的，但是风险也是最大的，因为一旦系统Crash，在binlog_cache中的所有binlog信息都会被丢失。
-
当不为0的时候，其数值为定期sync磁盘的binlog commit group数，表示每sync_binlog次事务提交，MySQL调用文件系统的刷新操作将缓存刷下去。
-
sync_binlog值不等于1的时候事务在FLUSH阶段就传输binlog到从库了，而值为1时，binlog同步操作是在SYNC阶段后，表示每次事务提交，MySQL都会把binlog刷下去，是最安全但是性能损耗最大的设置。
-
当sync_binlog值大于1的时候，sync binlog操作可能并没有使binlog落盘。如果没有落盘，事务在提交前，Master掉电，然后恢复，那么这个时候该事务被回滚。但是Slave上可能已经收到了该事务的events并且执行，这个时候就会出现Slave事务比Master多的情况，主备同步会失败。
所以如果要保持主备一致，需要设置sync_binlog为1。这种设置对高并发系统来说，对系统写入性能会有一定的影响。
4） SYNC_RELAY_LOG配置
-
设置为0时，表示mysql不控制relay log的刷新，由操作系统决定何时写入。当系统奔溃时，缓存中的这部分binlog数据会丢失
-
设置为1时，slave的I/O线程每次接收到master发送过来的binlog日志都要写入系统缓冲区，然后刷入relay log中继日志里
-
默认为10000，即每10000次sync_relay_log事件会刷新到磁盘
sync_relay_log设置为1的时候，事务响应时间会受到影响，对于涉及数据比较多的事务延迟会增加很多。
2、半同步复制的部署配置
要想使用半同步复制，必须满足以下几个条件：
1）MySQL 5.5及以上版本
2）变量have_dynamic_loading为YES （查看命令：show variables like "have_dynamic_loading";）
mysql> show variables like "have_dynamic_loading";
+----------------------+-------+
| Variable_name | Value |
+----------------------+-------+
| have_dynamic_loading | YES |
+----------------------+-------+
1 row in set (0.14 sec)
3）主从复制已经存在
1）首先加载插件
因用户需执行INSTALL PLUGIN, SET GLOBAL, STOP SLAVE和START SLAVE操作，所以用户需有SUPER权限。半同步复制是一个功能模块，库要能支持动态加载才能实现半同步复制! (安装的模块存放路径为/usr/local/mysql/lib/plugin）
-
主数据库节点执行:
mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
[要保证/usr/local/mysql/lib/plugin/目录下有semisync_master.so文件 (默认编译安装后就有)]
[root@tango-centos01 plugin]# ls -l semi*
-rwxr-xr-x. 1 mysql mysql 709470 Aug 29 2020 semisync_master.so
-rwxr-xr-x. 1 mysql mysql 152501 Aug 29 2020 semisync_slave.so
---------------------------------------------------------------------------------------
如果要卸载(前提是要关闭半同步复制功能)，就执行
mysql> UNINSTALL PLUGIN rpl_semi_sync_master;
-
从数据库节点执行:
mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
[要保证/usr/local/mysql/lib/plugin/目录下有semisync_slave.so文件 (默认编译安装后就有)]
[root@tango-centos01 plugin]# ls -l semi*
-rwxr-xr-x. 1 mysql mysql 709470 Aug 29 2020 semisync_master.so
-rwxr-xr-x. 1 mysql mysql 152501 Aug 29 2020 semisync_slave.so
---------------------------------------------------------------------------------------
如果要卸载(前提是要关闭半同步复制功能)，就执行
mysql> UNINSTALL PLUGIN rpl_semi_sync_slave;
-
查看插件是否加载成功的两种方式
##1、show plugins
mysql> show plugins;
+----------------------------+----------+--------------------+--------------------+---------+
| Name | Status | Type | Library | License |
| rpl_semi_sync_master | ACTIVE | REPLICATION | semisync_master.so | GPL |
##2、查询INFORMATION_SCHEMA.PLUGINS
mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME LIKE '%semi%';
+----------------------+---------------+
| PLUGIN_NAME | PLUGIN_STATUS |
+----------------------+---------------+
| rpl_semi_sync_master | ACTIVE |
+----------------------+---------------+
1 row in set (0.02 sec)
在安装完插件后，半同步复制默认是关闭的，这时需设置参数来开启半同步
1）主数据库节点执行：
mysql> SET GLOBAL rpl_semi_sync_master_enabled = 1;
2）从数据库节点执行：
mysql> SET GLOBAL rpl_semi_sync_slave_enabled = 1;
以上的启动方式是在登录mysql后的命令行操作，也可写在my.cnf配置文件中（推荐这种启动方式）。
##1、主数据库的my.cnf配置文件中添加:
plugin-load=rpl_semi_sync_master=semisync_master.so
rpl_semi_sync_master_enabled=1
##2、从数据库的my.cnf配置文件中添加:
plugin-load=rpl_semi_sync_slave=semisync_slave.so
rpl_semi_sync_slave_enabled=1
在从节点tango-centos-02和tango-centos-03上执行以下命令：
mysql> STOP SLAVE IO_THREAD;
Query OK, 0 rows affected (0.05 sec)
mysql> START SLAVE IO_THREAD;
Query OK, 0 rows affected (0.01 sec)
重启后，slave会在master上注册为半同步复制的slave角色。这时候，主的mysql.err中会打印如下信息:
2021-05-27T19:19:23.081169Z 7 [Note] While initializing dump thread for slave with UUID <de623c4b-eb35-11ea-b1e4-000c2959d3e3>, found a zombie dump thread with the same UUID. Master is killing the zombie dump thread(3).
2021-05-27T19:19:23.081285Z 7 [Note] Start binlog_dump to master_thread_id(7) slave_server(103), pos(mysql-bin.000025, 194)
2021-05-27T19:19:23.081302Z 7 [Note] Start semi-sync binlog_dump to slave (server_id: 103), pos(mysql-bin.000025, 194)
2021-05-27T19:19:23.081571Z 3 [Note] Stop asynchronous binlog_dump to slave (server_id: 103)
1）主数据库节点
mysql> show status like 'Rpl_semi_sync_master_status';
+-----------------------------+-------+
| Variable_name | Value |
+-----------------------------+-------+
| Rpl_semi_sync_master_status | ON |
+-----------------------------+-------+
1 row in set (0.06 sec)
2）从数据库节点
mysql> show status like 'Rpl_semi_sync_slave_status';
+----------------------------+-------+
| Variable_name | Value |
+----------------------------+-------+
| Rpl_semi_sync_slave_status | ON |
+----------------------------+-------+
1 row in set (0.01 sec)
这两个变量常用来监控主从是否运行在半同步复制模式下。至此，MySQL半同步复制环境就部署完成了！
需要注意下，其实Mysql半同步复制并不是严格意义上的半同步复制。当半同步复制发生超时时（由rpl_semi_sync_master_timeout参数控制，单位是毫秒，默认为10000，即10s），会暂时关闭半同步复制，转而使用异步复制。当master dump线程发送完一个事务的所有事件之后，如果在rpl_semi_sync_master_timeout内，收到了从库的响应，则主从又重新恢复为半同步复制。
mysql> show variables like "rpl_semi_sync_master_timeout";
+------------------------------+-------+
| Variable_name | Value |
+------------------------------+-------+
| rpl_semi_sync_master_timeout | 10000 |
+------------------------------+-------+
1 row in set (0.00 sec)
3、半同步复制测试
1）主数据库节点 （从节点在执行"stop slave"之前）
mysql> create database tango;
Query OK, 1 row affected (0.04 sec)
mysql> create table tango.tb01(id int,name char(10));
Query OK, 0 rows affected (0.12 sec)
mysql> insert into tango.tb01 values(1,'bj');
Query OK, 1 row affected (0.22 sec)
2）从数据库节点执行"stop slave"
mysql> stop slave;
##1、观察主库
mysql> insert into tango.tb01 values(3,'gz');
Query OK, 1 row affected (10.00 sec)
mysql> show status like 'Rpl_semi_sync_master_status';
+-----------------------------+-------+
| Variable_name | Value |
+-----------------------------+-------+
| Rpl_semi_sync_master_status | OFF |
+-----------------------------+-------+
1 row in set (0.01 sec)
##2、观察从库
mysql> show status like 'Rpl_semi_sync_slave_status';
+----------------------------+-------+
| Variable_name | Value |
+----------------------------+-------+
| Rpl_semi_sync_slave_status | OFF |
+----------------------------+-------+
1 row in set (0.01 sec)
3）接着在从数据库节点执行"start slave"
mysql> start slave;
##1、观察主库
mysql> insert into tango.tb01 values(4,'sh');
Query OK, 1 row affected (0.02 sec)
mysql> show status like 'Rpl_semi_sync_master_status';
+-----------------------------+-------+
| Variable_name | Value |
+-----------------------------+-------+
| Rpl_semi_sync_master_status | ON |
+-----------------------------+-------+
1 row in set (0.00 sec)
##2、观察从库
mysql> show status like 'Rpl_semi_sync_slave_status';
+-----------------------------+-------+
| Variable_name | Value |
+-----------------------------+-------+
| Rpl_semi_sync_slave_status | ON |
+-----------------------------+-------+
1 row in set (0.00 sec)
以上验证分为三个阶段:
-
在Slave执行stop slave之前，主的insert操作很快就能返回。
-
在Slave执行stop slave后，主的insert操作需要10.00s才返回，而这与rpl_semi_sync_master_timeout参数的时间相吻合。这时，查看两个状态的值，均为“OFF”了。同时，主的mysql.err中打印如下信息:
2021-05-27T20:06:08.218032Z 7 [ERROR] Semi-sync master failed on net_flush() before waiting for slave reply
2021-05-27T20:06:08.218073Z 7 [Note] Stop semi-sync binlog_dump to slave (server_id: 103)
2021-05-27T20:06:08.218172Z 7 [Note] Aborted connection 7 to db: 'unconnected' user: 'repl' host: '192.168.112.103' (Found net error)
2021-05-27T20:06:18.218929Z 5 [Warning] Timeout waiting for reply of binlog (file: mysql-bin.000025, pos: 1377), semi-sync up to file mysql-bin.000025, position 1097.
2021-05-27T20:06:18.219076Z 5 [Note] Semi-sync replication switched OFF.
-
在Slave执行start slave后，主的insert操作很快就能返回，此时，两个状态的值也变为“ON”了。同时，主的mysql.err中会打印如下信息:
2021-05-27T20:07:26.327396Z 8 [Note] Start binlog_dump to master_thread_id(8) slave_server(102), pos(mysql-bin.000025, 817)
2021-05-27T20:07:26.327450Z 8 [Note] Start semi-sync binlog_dump to slave (server_id: 102), pos(mysql-bin.000025, 817)
2021-05-27T20:07:26.424521Z 0 [Note] Semi-sync replication switched ON at (mysql-bin.000025, 1377)
2021-05-27T20:07:33.418389Z 9 [Note] Start binlog_dump to master_thread_id(9) slave_server(103), pos(mysql-bin.000025, 1097)
2021-05-27T20:07:33.418439Z 9 [Note] Start semi-sync binlog_dump to slave (server_id: 103), pos(mysql-bin.000025, 1097)
4、其他变量说明
mysql> show variables like '%Rpl%';
+-------------------------------------------+------------+
| Variable_name | Value |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled | ON |
| rpl_semi_sync_master_timeout | 10000 |
| rpl_semi_sync_master_trace_level | 32 |
| rpl_semi_sync_master_wait_for_slave_count | 1 |
| rpl_semi_sync_master_wait_no_slave | ON |
| rpl_semi_sync_master_wait_point | AFTER_SYNC |
| rpl_stop_slave_timeout | 31536000 |
+-------------------------------------------+------------+
7 rows in set (0.00 sec)
-
rpl_semi_sync_master_wait_for_slave_count：MySQL 5.7.3引入的，该变量设置主master需要等待多少个slave应答，才能返回给客户端，默认为1。
-
rpl_semi_sync_master_wait_no_slave：
-
ON，默认值，当状态变量Rpl_semi_sync_master_clients中的值小于rpl_semi_sync_master_wait_for_slave_count时，Rpl_semi_sync_master_status依旧显示为ON。
-
OFF，当状态变量Rpl_semi_sync_master_clients中的值于rpl_semi_sync_master_wait_for_slave_count时，Rpl_semi_sync_master_status立即显示为OFF，即异步复制。
简单来说，如果mysql架构是1主2从，2个从都采用了半同步复制，且设置的是rpl_semi_sync_master_wait_for_slave_count=2，如果其中一个挂掉了，对于rpl_semi_sync_master_wait_no_slave设置为ON的情况，此时显示的仍然是半同步复制，如果rpl_semi_sync_master_wait_no_slave设置为OFF，则会立刻变成异步复制。
mysql> show status like '%Rpl_semi%';
+--------------------------------------------+-------+
| Variable_name | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients | 2 |
| Rpl_semi_sync_master_net_avg_wait_time | 0 |
| Rpl_semi_sync_master_net_wait_time | 0 |
| Rpl_semi_sync_master_net_waits | 10 |
| Rpl_semi_sync_master_no_times | 1 |
| Rpl_semi_sync_master_no_tx | 1 |
| Rpl_semi_sync_master_status | ON |
| Rpl_semi_sync_master_timefunc_failures | 0 |
| Rpl_semi_sync_master_tx_avg_wait_time | 876 |
| Rpl_semi_sync_master_tx_wait_time | 4383 |
| Rpl_semi_sync_master_tx_waits | 5 |
| Rpl_semi_sync_master_wait_pos_backtraverse | 0 |
| Rpl_semi_sync_master_wait_sessions | 0 |
| Rpl_semi_sync_master_yes_tx | 5 |
+--------------------------------------------+-------+
14 rows in set (0.01 sec)
-
Rpl_semi_sync_master_clients：当前半同步复制从的个数，如果是一主多从的架构，并不包含异步复制从的个数。
-
Rpl_semi_sync_master_no_tx：从节点没有接收到的commit数
-
Rpl_semi_sync_master_yes_tx：从节点成功接收到的commit数
参考资料：
-
https://www.cnblogs.com/kevingrace/p/10228694.html
-
https://www.cnblogs.com/zero-gg/p/9057092.html