Mysql数据可靠性机制

  • Z时代
  • 2024-01-10
  • 分类：综合

database

binlog 的写入机制

binlog 的写入逻辑比较简单:事务执行过程中，先把日志写到 binlog cache，事务提交的时候，再把 binlog cache 写到 binlog 文件中

一个事务的 binlog 是不能被拆开的，因此不论这个事务多大，也要确保一次性写入。 这就涉及到了 binlog cache的保存问题。 系统给 binlog cache 分配了一片内存，每个线程一个，参数 binlog_cache_size 用于控制单个线程内 binlog cache 所占内存的大小。如果超过了这个参数规定的大小，就要暂存到磁盘。 事务提交的时候，执行器把 binlog cache 里的完整事务写入到 binlog 中，并清空 binlog cache

write，指的就是指把日志写入到文件系统的page cache，并没有把数据持久化到磁盘，所以速度比较快 fsync，才是将数据持久化到磁盘的操作。一般情况下，我们认为 fsync 才占磁 盘的 IOPS

write 和 fsync 的时机，是由参数 sync_binlog 控制的:

  • sync_binlog=0 的时候，表示每次提交事务都只 write，不 fsync;

  • sync_binlog=1 的时候，表示每次提交事务都会执行 fsync;

  • sync_binlog=N(N>1) 的时候，表示每次提交事务都 write，但累积 N 个事务后才 fsync。

因此，在出现 IO瓶颈的场景里，将 sync_binlog 设置成一个比较大的值，可以提升性能。在实际的业务场景中，考虑到丢失日志量的可控性，一般不建议将这个参数设成0， 比较常见的是将其设置为 100~1000 中的某个数值

但是，将 sync_binlog设置为 N，对应的风险是:如果主机发生异常重启，会丢失最近 N 个事务的 binlog 日志

redo log 的写入机制

事务在执行过程中，生成 的 redo log 是要先写到 redo log buffer 的。

事务还没提交的时候，redo log buffer 中的部分日志有没有可能 被持久化到磁盘呢

日志写到 redo log buffer 是很快的，wirte 到 page cache 也差不多，但是持久化到磁盘 的速度就慢多了。

为了控制 redo log 的写入策略，InnoDB 提供了 innodb_flush_log_at_trx_commit 参 数，它有三种可能取值:

  • 设置为 0 的时候，表示每次事务提交时都只是把 redo log 留在 redo log buffer 中 ;

  • 设置为 1 的时候，表示每次事务提交时都将 redo log 直接持久化到磁盘;

  • 设置为 2 的时候，表示每次事务提交时都只是把 redo log 写到 page cache

InnoDB 有一个后台线程，每隔 1 秒，就会把 redo log buffer 中的日志，调用 write 写 到文件系统的 page cache，然后调用 fsync 持久化到磁盘

事务执行中间过程的 redo log 也是直接写在 redo log buffer 中的，这些 redo log 也会被后台线程一起持久化到磁盘。也就是说，一个没有提交的事务的 redo log，也是可能已经持久化到磁盘的

除了后台线程每秒一次的轮询操作外，还有两种场景会让一个没有提交的事务的 redo log 写入到磁盘中

一种是，redo log buffer 占用的空间即将达到 innodb_log_buffer_size 一半的时 候，后台线程会主动写盘。注意，由于这个事务并没有提交，所以这个写盘动作只是 write，而没有调用 fsync，也就是只留在了文件系统的 page cache

另一种是，并行的事务提交的时候，顺带将这个事务的 redo log buffer 持久化到磁盘

通常我们说 MySQL 的“双 1”配置，指的就是 sync_binlog 和 innodb_flush_log_at_trx_commit 都设置成 1。也就是说，一个事务完整提交前，需要等待两次刷盘，一次是 redo log(prepare 阶段)，一次是 binlog

组提交

mysql 通过组提交来提高IO的效率

如果你想提升 binlog 组提交的效果，可以通过设置 binlog_group_commit_sync_delay 和 binlog_group_commit_sync_no_delay_count 来实现。

  1. binlog_group_commit_sync_delay 参数，表示延迟多少微秒后才调用 fsync;

  2. binlog_group_commit_sync_no_delay_count 参数，表示累积多少次以后才调用 fsync

以上是 Mysql数据可靠性机制 的全部内容， 来源链接： utcz.com/z/532190.html

回到顶部