Redis主从复制异常

主从复制异常 I/O error trying to sync with MASTER: connection lost

输出缓冲限制 client-output-buffer-limit

对于Redis服务器的输出（也就是命令的返回值）来说，其大小通常是不可控制的。有可能一个简单的命令，能够产生体积庞大的返回数据。另外也有可能因为执行了太多命令，导致产生返回数据的速率超过了往客户端发送的速率，这是也会导致服务器堆积大量消息，从而导致输出缓冲区越来越大，占用过多内存，甚至导致系统崩溃。

Redis设置了一些保护机制来避免这种情况的出现，不同类型的客户端有不同的限制参数。限制方式有如下两种：

（1） 硬限制，当某一个客户端的缓冲区超过某一个大小值时，直接关闭这个客户端的连接；

（2） 软限制，当某一个客户端的缓冲区持续一段时间占用过大空间时，会直接关闭客户端连接。

具体介绍可以看 Redis如何处理客户端连接的”输出缓冲限制“部分。

redis.conf中的client-output-buffer-limit默认配置：

client-output-buffer-limit normal 0 0 0 
client-output-buffer-limit replica 256mb 64mb 60 
client-output-buffer-limit pubsub 32mb 8mb 60

不同客户端有不同策略，策略如下：

• 对于普通客户端来说，限制为0，也就是不限制。因为普通客户端通常采用阻塞式的消息应答模式，何谓阻塞式呢？如：发送请求，等待返回，再发送请求，再等待返回。这种模式下，通常不会导致Redis服务器输出缓冲区的堆积膨胀；

• 对于Pub/Sub客户端（也就是发布/订阅模式），大小限制是8M，当输出缓冲区超过8M时，会关闭连接。持续性限制是，当客户端缓冲区大小持续60秒超过2M，则关闭客户端连接；

• 对于slave客户端来说，大小限制是256M，持续性限制是当客户端缓冲区大小持续60秒超过64M，则关闭客户端连接。

config get client-output-buffer-limit

127.0.0.1:6379> config get client-output-buffer-limit
1) "client-output-buffer-limit"
2) "normal 0 0 0 slave 536870912 268435456 60 pubsub 33554432 8388608 60"
   

目前的限制是最大512M和60s内不超过256M

我们可以加大复制输出缓冲区的大小

config set client-output-buffer-limit 'slave 536870912 268435456 60'

也可以关闭复制输出缓冲区的限制：

config set client-output-buffer-limit 'slave 0 0 0'

从节点日志

11299:S 24 Dec 2024 14:34:01.503 * MASTER <-> REPLICA sync: receiving 5820794508 bytes from master to disk  
11299:S 24 Dec 2024 14:54:38.263 * MASTER <-> REPLICA sync: Flushing old data  
11299:S 24 Dec 2024 14:54:38.263 * MASTER <-> REPLICA sync: Loading DB in memory  
11299:S 24 Dec 2024 14:54:38.301 * Loading RDB produced by version 6.2.4  
11299:S 24 Dec 2024 14:54:38.301 * RDB age 1515 seconds  
11299:S 24 Dec 2024 14:54:38.301 * RDB memory usage when created 23324.78 Mb  
11299:S 24 Dec 2024 14:58:45.950 * MASTER <-> REPLICA sync: Finished with success

全量同步成功

恢复限制

config set client-output-buffer-limit 'slave 536870912 268435456 60'

config set client-output-buffer-limit 'slave 5368709120 5368709120 60'