linux 的环境搭建（二）--redis单机环境、生产环境、集群环境的搭建

一、目录

1、工具

2、安装tcl

3、安装单机版redis

4、把redis设置为daemon进程，每次系统启动，redis进程一起启动

5、安装redis cluster

二、工具

2.1、tcl8.6.1-src.tar.gz

2.2、ruby-2.3.1.tar.gz

2.3、redis-4.1.1.gem

2.4、redis-3.2.8.tar.gz

2.5、openssl-1.0.2r.tar.gz

三、安装tcl（安装redis必须先要安装tcl）

3.1、把tcl8.6.1-src.tar.gz通过WinSCP上传到虚拟机中的/usr/local目录下

四、安装单机版redis

4.1、把redis-3.2.8.tar.gz通过WinSCP上传到虚拟机中的/usr/local目录下

4.2、依次运行如下命令：

tar -zxvf redis-3.2.8.tar.gz 解压文件

cd redis-3.2.8

make &&make test &&make install

五、把redis设置为daemon进程，每次系统启动，redis进程一起启动

5.1、将redis的utils目录下的redis_init_script脚本拷贝到linux的/etc/init.d目录中，将redis_init_script重命名为redis_6379，6379是我们希望这个redis实例监听的端口号

5.2、修改redis_6379脚本的第6行的REDISPORT，设置为相同的端口号（默认就是6379）

protected-mode no 取消保护模式，保护模式只能127.0.0.1访问

daemonize yes 让redis以daemon进程运行

pidfile /var/run/redis_6379.pid 设置redis的pid文件位置

bind192.168.3.110

port6379设置redis的监听端口号

dir /var/redis/6379 设置持久化文件的存储位置

logfile /var/log/redis/6379.log设置日志文件位置

5.6、启动redis，依次执行：

cd /etc/init.d,

chmod 777 redis_6379，赋读写执行的权限（chmod -R 777 * 是递归把该目录下的所有文件和其子文件全部赋权限）

./redis_6379 start 启动

5.7、确认redis进程是否启动，ps -ef | grep redis

5.8、让redis跟随系统启动自动启动

5.9、重启系统，不手动启动redis，直接连接redis，可以连接上，表示配置成功

此时一个单机版的redis的生产环境已经搭建好了，每次服务器重启，redis都会自动的启动

六、安装redis cluster

（redis cluster集群，要求至少3个master，去组成一个高可用，健壮的分布式的集群，每个master都建议至少给一个slave，3个master，3个slave）

6.1、前提，我在其它机器上启动了六个redis（安装步骤都如下）

2.2、创建三个目录：

mkdir -p /etc/redis-cluster 存放集群配置信息，自动生成配置

mkdir -p /var/log/redis redis日志

mkdir -p /var/redis/7001 存放redis的rdb文件和aof文件

6.3、将redis的utils目录下的redis_init_script脚本拷贝到linux的/etc/init.d目录中，将redis_init_script重命名为redis_7001，7001是我们希望这个redis实例监听的端口号,并修改redis_7001配置文件中的REDISPORT=7001

6.4、修改/etc/redis/7001.conf中的部分配置为生产环境

6.5、完成了一个redis环境的配置，依次再配置其余五个，分别为7002、7003、7004、7005、7006，每个启动脚本内，都修改对应的端口号

6.6、启动6个redis实例

6.7、创建集群（需要安装ruby、rubygems）

上述命令在部分机器上是可以直接运行完成，成功安装的，但在部分机器上运行第三条命令时会提示ruby版本太低、openssl找不到的问题，下面依次解决这两个问题：

6.8、再次运行gem install redis命令，报出两个错误

6.9、再次运行gem install redis命令，报出一个错误

6.10、再次运行gem install redis命令，报出一个错误

6.11、再次运行gem install redis命令

[root@ceshi01 local]# gem install redis

Successfully installed redis-4.1.1

Parsing documentation for redis-4.1.1

Done installing documentation for redis after 1 seconds

WARNING: Unable to pull data from ' https://rubygems.org/' : SSL_connect returned=1 errno=0 state=error: certificate verify failed ( https://api.rubygems.org/specs.4.8.gz )

1 gem installed

运行成功

此时Redis安装好，此三个工具也安装好了，这时我们来做一个Redis集群测试，在一台服务器中创建了6个Redis实例，开启6个Redis服务

redis-trib.rb create --replicas 1 192.168.3.104:7001 192.168.3.104:7002 192.168.3.105:7003 192.168.3.105:7004 192.168.3.106:7005 192.168.3.106:7006

[root@eshop-cache02 init.d]# redis-trib.rb create --replicas 1 192.168.3.104:7001 192.168.3.104:7002 192.168.3.105:7003 192.168.3.105:7004 192.168.3.106:7005 192.168.3.106:7006

此时一个redis集群环境就已经搭建好了，可以通过redis-trib.rb check 192.168.3.105:7003命令查看集群几点的信息

[root@eshop-cache02 init.d]# redis-trib.rb check 192.168.3.105:7004

redis cluster的优点：读写分离+高可用+多master

读写分离：每个master都有一个slave

高可用：master宕机，slave自动被切换过去

多master：横向扩容支持更大数据量

redis主从复制集群

实现方式：选择一台redis服务器作为master节点（负责写操作），另外一台或多台服务器作为slave节点（负责读操作），slave节点上的数据完全由master节点同步过来。

作用：降低单节点redis服务器的读写负载，将读写分离到不同的服务器 

提供数据的可用性

配置方式： 

Master节点不用作任何变动 

Slave节点上的配置文件redis.conf需要修改如下配置

#slaveof <masterip><masterport>

改为

salveof 127.0.0.1 6379

最好让服务器配成只读属性

salve-read-only yes123456

要想实现高可用即故障转移: 需要使用 keepalive

redis数据分片（Sharding）集群

实现方式：由若干台互不相干的redis服务器组成一个集群，互相独立，由集群的前置节点或者客户端实现将数据分散插入到集群中的各服务器上

作用：扩大数据存储的容量，降低单台服务器负载

步骤

首先准备两个服务器 

 

其中两个服务器的服务名称和端口号要不相同，两个生产的dump.rdb文件要在不同的路径下面，而且第二个服务器不能打开主从服务器的配置，配置如下，要注释掉该配置

开启两个服务器，在后台运行

后台运行可以修改如下配置，将daemonize改为yes即可

开启两个客户端 

然后编写分片集群的代码

public static void main(String[] args) {        //poolConfig是连接池的配置参数

GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig()       //shards是分片集群中所有分片服务器信息列表,JedisShardInfo是分片服务器信息

ArrayList<JedisShardInfo>shards = new ArrayList<>()       //将集群中的两台shard服务器信息封装到两个JedisShardInfo对象中

JedisShardInfo shard1 = new JedisShardInfo("192.168.90.131",6379)

JedisShardInfo shard2 = new JedisShardInfo("192.168.90.131",6380)       //将分片服务器信息对象添加到分片服务器信息列表shards中

shards.add(shard1)

shards.add(shard2)       //创建一个带数据分片功能的jedis连接池

ShardedJedisPool shardedJedisPool = new ShardedJedisPool(poolConfig, shards)       //从连接池中获取一个带数据分片功能的jedis连接

ShardedJedis jedis = shardedJedisPool.getResource()       for (int i=0i<1000i++){

jedis.set("string-key-"+i,"1000"+i)

}

jedis.close()

shardedJedisPool.close()

}123456789101112131415161718192021222324252627282930

进行运行，查看结果 

可以进行检测，6379端口的客户端是否存在6380端口的key

 

从图中可以看出，返回0，说明不存在

在redis主从架构中，Master节点负责处理写请求，Slave节点只处理读请求。对于写请求少，读请求多的场景，例如电商详情页，通过这种读写分离的操作可以大幅提高并发量，通过增加redis从节点的数量可以使得redis的QPS达到10W+。

Master节点接收到写请求并处理后，需要告知Slave节点数据发生了改变，保持主从节点数据一致的行为称为主从同步，所有的Slave都和Master通信去同步数据也会加大Master节点的负担，实际上，除了主从同步，redis也可以从从同步，我们在这里统一描述为主从同步。

redis 同步的是指令流，主节点会将那些对自己的状态产生修改性影响的指令记录在本地的内存 buffer 中，然后异步将 buffer 中的指令同步到从节点，从节点一边执行同步的指令流来达到和主节点一样的状态，一边向主节点反馈自己同步到哪里了 (偏移量，这是redis-2.8之后才有的特性)。从节点同步数据的时候不会影响主节点的正常工作，也不会影响自己对外提供读服务的功能，从节点会用旧的数据来提供服务，当同步完成后，需要删除旧数据集，加载新数据，这个时候才会暂停对外服务。

因为内存的 buffer 是有限的，所以 redis 主节点不能将所有的指令都记录在内存 buffer 中。redis 的复制内存 buffer 是一个定长的环形数组，如果数组内容满

了，就会从头开始覆盖前面的内容。

如果节点间网络通信不好，那么当从节点同步的速度不如主节点接收新写请求的速度时，buffer 中会丢失一部分指令，从节点中的数据将与主节点中的数据不一致，此时将会触发快照同步。

快照同步是一个非常耗费资源的操作，它首先需要在主节点上进行一次 bgsave 将当前内存的数据全部快照到RDB文件中，然后再将快照文件的内容全部传送到从节点。从节点将RDB文件接受完毕后，立即执行一次全量加载，加载之前先要将当前内存的数据清空。加载完毕后通知主节点继续进行增量同步。

在整个快照同步进行的过程中，主节点的复制 buffer 还在不停的往前移动，如果快照同步的时间过长或者复制 buffer 太小，都会导致同步期间的增量指令在复制 buffer 中被覆盖，这样就会导致快照同步完成后无法进行增量复制，然后会再次发起快照同步，如此极有可能会陷入快照同步的死循环。所以需要配置一个合适的复制 buffer 大小参数，避免快照复制的死循环。

主节点在进行快照同步时，会进行大量的文件 IO 操作，特别是对于非 SSD 磁盘存储时，快照会对系统的负载产生较大影响。特别是当系统正在进行 AOF 的 fsync 操作时如果发生快照复制，fsync 将会被推迟执行，这就会严重影响主节点的服务效率。

从 Redis 2.8.18 版开始支持无盘复制。所谓无盘复制是主节点会一边遍历内存，一遍将序列化的内容发送到从节点，而不是生成完整的 RDB 文件后才进行 IO 传输从节点还是跟之前一样，先将接收到的内容存储到磁盘文件中，再进行一次性加载。

(1) 在从节点的配置文件中的 slaveof 配置项中配置了主节点的IP和port后，从节点就知道自己要和那个主节点进行连接了。

(2) 从节点内部有个定时任务，会每秒检查自己要连接的主节点是否上线，如果发现了主节点上线，就跟主节点进行网络连接。注意，此时仅仅是取得连接，还没有进行主从数据同步。

(3) 从节点发送ping命令给主节点进行连接，如果设置了口令认证（主节点设置了requirepass），那么从节点必须发送正确的口令（masterauth）进行认证。

(4) 主从节点连接成功后，主从节点进行一次快照同步。事实上，是否进行快照同步需要判断主节点的 run id ，当从节点发现已经连接过某个 run id 的主节点，那么视此次连接为重新连接，就不会进行快照同步。相同IP和port的主节点每次重启服务都会生成一个新的 run id ，所以每次主节点重启服务都会进行一次快照同步，如果想重启主节点服务而不改变 run id ，使用 redis-cli debug reload 命令。

(5) 当开始进行快照同步后，主节点在本地生成一份rdb快照文件，并将这个rdb文件发送给从节点，如果复制时间超过60秒（配置项：repl-timeout），那么就会认为复制失败，如果数据量比较大，要适当调大这个参数的值。主从节点进行快照同步的时候，主节点会把接收到的新请求命令写在缓存 buffer 中，当快照同步完成后，再把 buffer 中的指令增量同步到从节点。如果在快照同步期间，内存缓冲区大小超过256MB，或者超过64MB的状态持续时间超过60s（配置项： client-output-buffer-limit slave 256MB 64MB 60 ），那么也会认为快照同步失败。

(6) 从节点接收到RDB文件之后，清空自己的旧数据，然后重新加载RDB到自己的内存中，在这个过程中基于旧的数据对外提供服务。如果主节点开启了AOF，那么在快照同步结束后会立即执行BGREWRITEAOF，重写AOF文件。

(7) 主节点维护了一个backlog文件，默认是1MB大小，主节点向从节点发送全量数据（RDB文件）时，也会同步往backlog中写，这样当发送全量数据这个过程意外中断后，从backlog文件中可以得知数据有哪些是发送成功了，哪些还没有发送，然后当主从节点再次连接后，从失败的地方开始增量同步。这里需要注意的是，当快照同步连接中断后，主从节点再次连接并非是第一次连接，所以进行增量同步，而不是继续进行快照同步。

(8) 快照同步完成后，主节点后续接收到写请求导致数据变化后，将和从节点进行增量同步，遇到 buffer 溢出则再触发快照同步。

(9) 主从节点都会维护一个offset，随着主节点的数据变化以及主从同步的进行，主从节点会不断累加自己维护的offset，从节点每秒都会上报自己的offset给主节点，主节点也会保存每个从节点的offset，这样主从节点就能知道互相之间的数据一致性情况。从节点发送 psync runid offset 命令给主节点从而开始主从同步，主节点会根据自身的情况返回响应信息，可能是FULLRESYNC runid offset触发全量复制，也可能是CONTINUE触发增量复制。

(10) 主从节点因为网络原因导致断开，当网络接通后，不需要手工干预，可以自动重新连接。

(11) 主节点如果发现有多个从节点连接，在快照同步过程中仅仅会生成一个RDB文件，用一份数据服务所有从节点进行快照同步。

(12) 从节点不会处理过期key，当主节点处理了一个过期key，会模拟一条del命令发送给从节点。

(13) 主从节点会保持心跳来检测对方是否在线，主节点默认每隔10秒发送一次heartbeat，从节点默认每隔1秒发送一个heartbeat。

(14) 建议在主节点使用AOF+RDB的持久化方式，并且在主节点定期备份RDB文件，而从节点不要开启AOF机制，原因有两个，一是从节点AOF会降低性能，二是如果主节点数据丢失，主节点数据同步给从节点后，从节点收到了空的数据，如果开启了AOF，会生成空的AOF文件，基于AOF恢复数据后，全部数据就都丢失了，而如果不开启AOF机制，从节点启动后，基于自身的RDB文件恢复数据，这样不至于丢失全部数据。RDB和AOF机制可以参考 详解 redis-4.x 持久化机制

使用3个虚拟机搭建一主二从的redis主从架构集群。首先参考 redis-4.0.12单节点安装 在每台机器上安装redis，然后修改redis配置文件，其中一个master节点的配置如下（未列出的保持默认即可）：

两个slave节点的配置如下：

启动3个redis服务：

查看master日志：

看日志发现一个问题，我们在原理中介绍说：

主节点如果发现有多个从节点连接，在快照同步过程中仅仅会生成一个RDB文件，用一份数据服务所有从节点进行快照同步。

然而这里master的日志显示写了两次RDB文件，这里我查一些资料再来更新。（！！！待完善）

查看slave日志（这里只列出一个slave的日志）：

测试主从架构：

(1) 使用 redis-cli 访问3个redis服务

(2) 在 master 节点上 set 一个数据

(3) 从节点上获取数据

(4) 尝试在slave上写入数据

redis主从架构搭建成功！

wait 提供两个参数，第一个参数是从节点的数量 m，第二个参数是时间 t，以毫秒

为单位。它表示等待 wait 指令之前的所有写操作同步到 n 个子节点 (也就是确保

m 个子节点的同步没有滞后)，最多等待时间 t。如果时间 t=0，表示无限等待直到

N 个从库同步完成达成一致。

假设此时某个子节点与主节点网络断开，wait 指令第二个参数时间 t = 0，主从同步无法继续

进行，wait 指令会永远阻塞，redis 服务器将丧失可用性。

---