Redis:主从同步
创始人
2024-05-29 15:29:13
0

Redis:主从同步

  • 一. 概述
  • 二. 原理
    • (1) 全量同步
    • (2) 增量同步
    • (3) 优化Redis主从集群
  • 三. 总结

一. 概述

引入
Redis主从集群采用一个Master负责写,多个Slave负责读的方式(读多写少),那么如何让读取数据时多个从节点的数据都一样? ----将Master数据同步到每个Slave,即主从同步;

定义
主从同步,是指将一台Redis服务器的数据,复制到其他的Redis服务器。
数据的复制是单向的,只能由主节点到从节点。
默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。(redis有主从同步,从从同步)。

二. 原理

(1) 全量同步

触发时间:①第一次建立连接 ②增量同步失败

流程

  1. 当slave和master建立连接后,slave发起psync同步请求,带上replid和offset;
    master会根据slave的replid来判断slave是不是第一次同步,ID和自己不一样则是第一次,则将master的replid发给slave,slave记录replid作为自己的id;
  2. ①master执行bgsave,将内存数据写入RDB文件,并将RDB发送给slave;slave会清空本地数据,加载RDB文件到【内存】中;
    ②当master异步写RDB文件期间,会记录主进程的操作到repl_baklog缓冲区中;
    (此时RDB文件+缓冲区的命令即=master上的完整数据)
  3. master将缓冲区的新命令发送给slave,slave拿到命令后会执行命令,保证slave和master的数据一致;
    后序新的命令都写到缓冲区,再发送到slave,以次实现主从同步;
    在这里插入图片描述

Replication ID
简称replid,是数据集的标记,id一致则说明是同一数据集。每个master都有唯一一个replid,slave则会继承master节点的replid;

offset偏移量
随着master记录在【repl_baklog缓冲区】中的数据增多而逐渐增大。 slave完成同步时也会记录当前的offset;
如果slave的offset小于master的offset,说明slave落后于master,需要更新;(slave的offset<=master的offset)

所以slave做同步时,必须向master声明自己的Replication ID和offset,master就可以通过ID来判断slave是不是从当前master同步的;以及从offset判断数据同步的进度;

如何判断slave是不是第一次做数据同步?
Replication ID不一样则是slave第一次请求同步!
而后slave的Replication ID就变成了当前master的Replication ID;master根据slave的 offset ?大小来做增量同步;

(2) 增量同步

触发时间:在slave重启过程中,master会持续接收数据,则slave数据会落后,此时就是做增量同步;

流程

  1. slave重启,重启完后发送给psync请求同步并带上replid和offset,
    由于不是第一次发起请求,此时slave的replid和master一致,master不用再给slave发送id,而是回复continue;
  2. master不再RDB,因为slave已经拷贝过了,slave宕机期间丢失的部分记录在repl_baklog缓冲区,而slave的offest就是之前读取到的位置,所以将缓存中slave的offset往后的命令发往slave;
  3. slave执行master传过来的命令,就可以补上错过的命令,此时数据保持了一致;
    在这里插入图片描述

repl_baklog缓冲区
本质是一个成环的数组,当数组满了(slave落后master的数据超过了缓冲区容量),则会用master新命令覆盖旧的命令;
只要slave和master的数据差距在一个环内,就可以将slave落后于master的部分找到并发给slave;
当slave和master差距超过了一个环,则无法做增量同步了;
在这里插入图片描述

什么时候增量同步失败?
缓冲区是一个数组,大小有限,当slave断开时间太长,和master的差距超过了缓冲区,导致尚未备份的数据被新命令覆盖,则此时无法基于缓冲区做增量同步,只能做全量同步了;

(3) 优化Redis主从集群

提高全量同步的性能:

  1. 在master中配置无磁盘复制,避免全量同步时的磁盘IO;不使用RDB文件,即内存数据的IO流直接写到网络中,而不是先写到RDB磁盘文件,减少了一次拷贝到磁盘的过程,提高性能;(网络比较快时)
  2. 控制Redis单节点内存上限,这样就能控制RDB文件的大小,从而减少磁盘IO;

减少全量同步:

  1. 提高repl_baklog缓冲区的大小,这样slave落后于master的数据就多一点,一定程度避免由于由于增量同步失效导致的全量同步;

其他:

  1. 主从链式结构,限制一个master上的slave节点数量,减轻master的压力;
    在这里插入图片描述

三. 总结

1.全量同步与增量同步的区别?
全量同步master需要将内存数据写入 RDB 文件,再将RDB文件传给slave,后序命令记录在缓冲区;
增量同步时master不需要写RDB文件,只需要将缓冲区中slave的offset之后的命令传给slave;

2.什么时候执行全量同步?
①slave第一次连接master时;
②slave宕机时间太长,导致salve的offset在缓冲区被新的命令覆盖;

3.什么时候执行增量同步?
slave重启时;

相关内容

热门资讯

此次新版龙之谷怎么去查看自己的... 此次新版龙之谷怎么去查看自己的VIP等级?此次新版龙之谷怎么去查看自己的VIP等级?点击VIP按钮问...
吴京爆出易烊千玺伤情,恢复情况... 吴京爆出易烊千玺伤情,恢复情况让人担忧,易烊千玺该何去何从?也没有多严重啊,易烊千玺后面自己的还有几...
奥比岛时空穿梭机的答案是多少 奥比岛时空穿梭机的答案是多少我很想要礼物!!如果有谁知道,就告诉我吧1.黄金海岸:点精灵打章鱼的牌子...
谁帮我学一篇关于大学校园生活的... 谁帮我学一篇关于大学校园生活的英语作文,谢谢了哦这是我们老师给我们的作业,我不会写,帮帮忙你自己好好...
世界是否在本质上是数学的 世界是否在本质上是数学的即数学是否是分析和理解这个世界的真正途径;还是数学仅仅适用于事物的表面和数量...
鲁智深 倒拔垂杨柳表面上的原因... 鲁智深 倒拔垂杨柳表面上的原因 目的是什么表面原因:大树上的乌鸦喳喳叫个不停,吵得人心烦。泼皮们嫌不...
洛阳历史上的大事件 洛阳历史上的大事件董卓火烧洛阳城!
末伏是什么节日,又是什么意思 末伏是什么节日,又是什么意思一年中最热的时间称三伏天,末伏是三伏中的第三伏就是三伏天的最后一个阶段
倚天开篇的何足道武功高强,为什... 倚天开篇的何足道武功高强,为什么在书中却销声匿迹了?其实并未销声匿迹,反而光大了昆仑派,助昆仑派成为...
如何处理日常工作和临时性任务之... 如何处理日常工作和临时性任务之间的关系临时性任务多半是重要的突发性任务,优先处理如果是不怎么重要的临...
陈情令:魏无羡当年求死坠落悬崖... 陈情令:魏无羡当年求死坠落悬崖,为何复活后没了这种想法?我觉得主要是因为找到了知音蓝忘机,知道这个世...
有谁知道这部电影叫什么名字?是... 有谁知道这部电影叫什么名字?是部国外电影。讲述的是一个女人如果赶上火车跟没有赶上是两种不同的命运。知...
孩子现在二年级,想报跟谁学张镇... 孩子现在二年级,想报跟谁学张镇老师的课,又不知道能不能学?有报过的吗?表示不认识,可以啊真的张镇老师...
《十段生命的律动》完整版在线播... 《十段生命的律动》完整版在线播放
斯文书卷气是什么意思呢? 斯文书卷气是什么意思呢?不是的.是说你很有书生的味道.好好先生.缺乏男人的阳钢之美,太细腻了或许已经...
电子手表怎么换电子,学生表 电子手表怎么换电子,学生表去找一个修手表的地方买一个电池,可以自己用螺丝刀扭开后盖,如果不放心可以让...
汽车后退时踩刹车出现响声? 汽车后退时踩刹车出现响声?刹车片和刹车盘摩擦的声音如果不严重可以不处理。
君高声自远,非是藉秋风 君高声自远,非是藉秋风有没有关于”君高声自远,非是藉秋风”的文章啊?你桐棚需要什么,说清楚点。原诗“...
现在高三了,到每次考试英语听力... 现在高三了,到每次考试英语听力都失分很多,应该怎么样提高英语听力能力?多数是不认真,你能听好的多看英...
后期做好的歌曲怎么替换上传到唱... 后期做好的歌曲怎么替换上传到唱吧?好像是添加到那个录音对应的本地文件夹