redis cluster集群部署

一.服务器设置准备

1. 将6379端口在防火墙看开启

[root@redis1 ~]#vi /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT

注：必须加在 REJECT 前面。

2.修改Selinux参数

[root@redis1 ~]#vi /etc/selinux/config

SELINUX=disabled

注：分别在其它几个节点上同样配置防火墙和 SELINUX。

二.安装Redis

1.安装系统组件

安装gcc、tcl

yum install –y gcc-c++

yum install –y tcl

2.安装redis

2.1.解压 Redis 到/usr/local目录下

[root@redis1 ~]# tar -zxvf /root/software/redis-3.2.6.tar.gz -C /usr/local/

2.2.在解压后的目录中进行 make 和 make test

[root@redis1 ~]# cd /usr/local/redis-3.2.6

[root@redis1 redis-3.2.6]# make

[root@redis1 redis-3.2.6]# make test

注：要检查 make 和 make test 的结果是否都正确，如果报错，针对性检查并安装系统缺少的组件。

2.3. 复制 redis-server 和 redis-cli 到/usr/local/bin 目录下：

[root@redis1 redis-3.2.6]# cd src

[root@redis1 src]# cp redis-server /usr/local/bin/

[root@redis1 src]# cp redis-cli /usr/local/bin/

2.4验证 Redis 安装是否成功：

[root@redis1 ~]# redis-server

[root@redis1 ~]# redis-cli

注：安装其它 5 台服务器

三.配置集群模式

1.配置 redis.conf

1.1 配置 redis.conf

[root@redis1 ~]# mkdir /etc/redis

[root@redis1 ~]# cd /etc/redis

[root@redis ~]# vi redis.conf

port 6379

daemonize yes

cluster-enabled yes

cluster-config-file /etc/redis/nodes.conf

cluster-node-timeout 5000

appendonly yes

requirepass Ab123456

注 1：cluster-node-timeout 是集群中各节点相互通讯时，允许“失联”的最大毫秒数，本演示

中配置的为 5 秒，如果超过 5 秒某个节点没有向其它节点汇报成功，认为该节点挂了。

注 2：requirepass 是 Redis 访问密码，为了安全起见，该参数建议必须配置，从但客户端

Jedis 版本必须使用 2.8.x 以上的版本，否则需要通过扩展 JedisCluster 来实现对密码访问的

支持。此外几个 Redis 节点的密码应该设置为相同的。

注 3：分别在其它几个节点上创建与上面相同的 redis.conf 文件，内容也相同。

注 4：重启/重建 Redis 集群时，必须删除去/etc/redis/nodes.conf 文件。

1.2以次启动所有节点

[root@redis1 ~]# redis-server /etc/redis/redis.conf

[root@redis2 ~]# redis-server /etc/redis/redis.conf

[root@redis3 ~]# redis-server /etc/redis/redis.conf

[root@redis4 ~]# redis-server /etc/redis/redis.conf

[root@redis5 ~]# redis-server /etc/redis/redis.conf

[root@redis6 ~]# redis-server /etc/redis/redis.conf

2.安装 Redis 集群所需的 Ruby 工具

2.1安装 Ruby 工具：

Redis 集群需要借助其它工具将相关节点加入到 Cluster 中，而这个工具是由 Redis 提供

一个名为 redis-trib.rb 的 ruby 脚本，否则接下来创建 cluster 会失败。

[root@redis1 ~]# cd /usr/local/redis-3.2.6/src

[root@redis1 src]# yum install –y ruby

[root@redis1 src]# yum install -y rubygems

[root@redis1 src]# gem install redis --version 3.0.0

[root@redis1 src]# gem list

2.2 设置 Ruby 连接 Redis 的密码：

[root@redis1 ~]# vi /usr/lib/ruby/gems/1.8/gems/redis-3.0.0/lib/redis/client.rb

:password =>"Ab123456"

注：分别在其它几个节点上用同样的方式安装好 Ruby 工具

3 利用redis-trib.rb 创建 Redis集群

3. 1. 在 src 目录下运行以下脚本：

[root@redis1 ~]# cd /usr/local/redis-3.2.6/src

[root@redis1 src]# ./redis-trib.rb create --replicas 1 10.50.130.101:6379 10.50.130.102:6379

10.50.130.103:6379 10.50.130.104:6379 10.50.130.105:6379 10.50.130.106:6379

注 1：只需在其中某个个节点执行以上脚本（本例在第一个节点执行）。

注 2：利用 redis-trib 创建 Cluster，只需要操作一次即可，假设系统关机、重启，把所有的

节点全部关闭之后，下次重启后，即自动进入 Cluster 模式，不用现次执行 redis-trib.rb cteate

命令。

3.2查看 Cluster 进程：

[root@redis1 ~]# ps -ef|grep redis

[root@redis2 ~]# ps -ef|grep redis

[root@redis3 ~]# ps -ef|grep redis

[root@redis4 ~]# ps -ef|grep redis

[root@redis5 ~]# ps -ef|grep redis

[root@redis6 ~]# ps -ef|grep redis

3.3 查看节点属性（Master/Slave）

[root@redis1 ~]# cd /usr/local/redis-3.2.6/src

[root@redis1 src]# ./redis-trib.rb check 10.50.130.101:6379

[root@redis1 src]# ./redis-trib.rb check 10.50.130.102:6379

[root@redis1 src]# ./redis-trib.rb check 10.50.130.103:6379

[root@redis1 src]# ./redis-trib.rb check 10.50.130.104:6379

[root@redis1 src]# ./redis-trib.rb check 10.50.130.105:6379

[root@redis1 src]# ./redis-trib.rb check 10.50.130.106:6379

3.4查看节点/集群信息

redis-cli 客户端登录到任一个节点，查看:

4.Jedis 测试 Redis 集群

Cluster群集一般来讲有四个功能

1. 冗余功能,就是说在这个群集中的任何一台机器出现本机或网络故障时，整个网络仍不中断，对外的服务也不中断，网络有多个路线可以走,服务器也可以相互代替。

2.负载均衡，就是当网络流量很大时。少量的服务器可能响应不过来，这时需要多台服务器为其分担处理。打个比方：一台IA服务器的处理能力是每秒几万个，显然无法在一秒钟内处理几十万个请求，但如果我们能够有10台这样的服务器组成一个系统，如果有办法将所有的请求平均分配到所有的服务器，那么这个系统就拥有了每秒处理几十万个请求的能力。

3. 协商处理，这种方案的原理是客户请求会同时被所有的节点所接收，然后所有节点按照一定的规则协商决定由哪个节点处理这个请求。此种方案中比较显著的特点就是整个集群中没有显著的管理节点，所有决定由全体工作节点共同协商作出。

4。流量分发，原理是所有的用户请求首先到达集群的管理节点，管理节点可以根据所有服务节点的处理能力和现状来决定将这个请求分发给某个服务节点。当某个服务节点由于硬件或软件原因故障时，管理节点能够自动检测到并停止向这个服务节点分发流量。这样，既通过将流量分担而增加了整个系统的性能和处理能力，又可以很好的提高系统的可用性。

​ Redis Cluster 集群分区方案采用去中心化的方式，包括：sharding（分区）、replication（复制）、failover（故障转移）

​ Redis Cluster 由多个Redis节点组构成，是一个P2P（point to point）无中心节点的集群架构，依靠Gossip协议传播集群

Gossip协议是一个通信协议，一种传播消息的方式。

起源于：病毒传播

Gossip协议基本思想：

一个节点周期性(每秒)随机选择一些节点，并把信息传递给这些节点。

这些收到信息的节点接下来会做同样的事情，即把这些信息传递给其他一些随机选择的节点。

信息会周期性的传递给N个目标节点。这个N被称为 fanout （扇出）

gossip协议包含多种消息，包括meet、ping、pong、fail、publish等等

通过gossip协议，cluster可以提供集群间状态同步更新、选举自助failover等重要的集群功能。

redis-cluster把所有的物理节点映射到[0-16383]个 slot 上,基本上采用平均分配和连续分配的方式。

比如上图中有5个节点，这样在 Redis Cluster 创建时，slot槽可按下表分配

cluster 负责维护节点和slot槽的对应关系 value------>slot-------->节点

当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把

结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点

数量大致均等的将哈希槽映射到不同的节点。

比如：

set name zhangsan

hash("name")采用crc16算法，得到值：1324203551%16384=15903

根据上表15903在13088-16383之间，所以name被存储在Redis5节点。

slot槽必须在节点上连续分配，如果出现不连续的情况，则RedisCluster不能工作。

redis版本说明

redis.5.0.5

服务器说明

启动 7001、7002、7003、7011、7012、7013

配置启动脚本

三主三从

客户端连接集群

-c 以集群方式连接

扩容节点数据必须为空

启动 7004、7014

将 7004、7014 添加到集群

只能删除数据为空的节点

集群中的每个节点都会定期地（每秒）向集群中的其他节点发送PIN

如果在一定时间内(cluster-node-timeout)，发送ping的节点A没有收到某节点B的pong回应，则A将B

标识为pfail。

A在后续发送ping时，会带上B的pfail信息， 通知给其他节点。

如果B被标记为pfail的个数大于集群主节点个数的一半（N/2 + 1）时，B会被标记为fail，A向整个集群

广播，该节点已经下线

其他节点收到广播，标记B为fail。

采用 raft 协议

每个从节点，都根据自己对master复制数据的offset，来设置一个选举时间，offset越大（复制数

据越多）的从节点，选举时间越靠前，优先进行选举。

slave 通过向其他master发送FAILVOER_AUTH_REQUEST 消息发起竞选，

master 收到后回复FAILOVER_AUTH_ACK 消息告知是否同意。

slave 发送FAILOVER_AUTH_REQUEST 前会将currentEpoch 自增，并将最新的Epoch 带入到

FAILOVER_AUTH_REQUEST 消息中，如果自己未投过票，则回复同意，否则回复拒绝。

所有的 Master 开始slave选举投票，给要进行选举的slave进行投票，如果大部分master node（N/2 +

1）都投票给了某个从节点，那么选举通过，那个从节点可以切换成master。

RedisCluster失效的判定 ：

1、集群中半数以上的主节点都宕机（无法投票）

2、宕机的主节点的从节点也宕机了（slot槽分配不连续）

当slave 收到过半的master 同意时，会成为新的master。此时会以最新的Epoch 通过PONG 消息广播

自己成为master，让Cluster 的其他节点尽快的更新拓扑结构(node.conf)。

自动切换

就是上面讲的从节点选举

手动切换

人工故障切换是预期的操作，而非发生了真正的故障，目的是以一种安全的方式(数据无丢失)将当前

master节点和其中一个slave节点(执行cluster-failover的节点)交换角色

1、向从节点发送cluster failover 命令（slaveof no one）

2、从节点告知其主节点要进行手动切换（CLUSTERMSG_TYPE_MFSTART）

3、主节点会阻塞所有客户端命令的执行（10s）

4、从节点从主节点的ping包中获得主节点的复制偏移量

5、从节点复制达到偏移量，发起选举、统计选票、赢得选举、升级为主节点并更新配置

6、切换完成后，原主节点向所有客户端发送moved指令重定向到新的主节点

以上是在主节点在线情况下。

如果主节点下线了，则采用cluster failover force或cluster failover takeover 进行强制切换。

我们知道在一主一从的情况下，如果主从同时挂了，那整个集群就挂了。

为了避免这种情况我们可以做一主多从，但这样成本就增加了。

Redis提供了一种方法叫副本漂移，这种方法既能提高集群的可靠性又不用增加太多的从机。

Master1宕机，则Slaver11提升为新的Master1

集群检测到新的Master1是单点的（无从机）

集群从拥有最多的从机的节点组（Master3）中，选择节点名称字母顺序最小的从机（Slaver31）漂移

到单点的主从节点组(Master1)。

具体流程如下（以上图为例）：

1、将Slaver31的从机记录从Master3中删除

2、将Slaver31的的主机改为Master1

3、在Master1中添加Slaver31为从节点

4、将Slaver31的复制源改为Master1

5、通过ping包将信息同步到集群的其他节点

---