Redis 6.0多线程介绍

Redis作为一个基于内存的缓存系统，一直以高性能著称，

在单线程处理情况下，读速度可达到11万次/s，写速度达到8.1万次/s。

官方曾做过类似问题的回复：使用Redis时，几乎不存在CPU成为瓶颈的情况， Redis主要受限于内存和网络。

但是，单线程的设计也给Redis带来一些问题：

针对上面问题，Redis在4.0版本以及6.0版本分别引入了Lazy Free以及多线程IO，逐步向多线程过渡。

 

Redis服务器是一个事件驱动程序，服务器需要处理以下两类事件：

Redis服务器通过套接字与客户端(或者其他Redis服务器)进行连接。

文件事件就是服务器对套接字操作的抽象 。

服务器与客户端的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信操作。

(eg: 连接accept，read，write，close等)

Redis服务器中的一些操作(eg: serverCron函数)需要在给定的时间点执行。

时间事件就是服务器对这类定时操作的抽象

(eg: 过期键清理，服务状态统计等)

Redis将文件事件和时间事件进行抽象，时间轮询器会监听I/O事件表:

一旦有文件事件就绪，Redis就会优先处理文件事件，

接着处理时间事件。

在上述所有事件处理上，Redis都是以单线程形式处理，所以说Redis是单线程的。

处理过程见下图

Redis基于Reactor模式开发了自己的I/O事件处理器，也就是文件事件处理器。

Redis在I/O事件处理上，采用了I/O多路复用技术，同时监听多个套接字，

并为套接字关联不同的事件处理函数，通过一个线程实现了多客户端并发处理。

处理过程见下图

上述的设计，在数据处理上避免了加锁操作，既使得实现上足够简洁，也保证了其高性能。

当然， Redis单线程只是指其在事件处理上 ，实际上，Redis也并不是单线程的，比如生成RDB文件，就会fork一个子进程来实现。

 

背景:

客户端向Redis发送一条耗时较长的命令，比如删除一个含有上百万对象的Set键，或者执行flushdb，flushall操作，

Redis服务器需要回收大量的内存空间，导致服务器卡住好几秒，对负载较高的缓存系统而言将会是个灾难。

为了解决这个问题，在Redis 4.0版本引入了Lazy Free， 将慢操作异步化 ，这也是在事件处理上向多线程迈进了一步。

将大键的删除操作异步化，采用非阻塞删除（对应命令UNLINK）。

大键的空间回收交由单独线程实现，主线程只做关系解除，可以快速返回，继续处理其他事件，避免服务器长时间阻塞。

意义:

Redis在4.0版本引入了Lazy Free，自此Redis有了一个 Lazy Free线程专门用于大键的回收 。

同时，也去掉了聚合类型的共享对象，这为多线程带来可能。

这为Redis在6.0版本实现了多线程I/O打下了基础。

 

Redis 6.0的多线程并未将事件处理改成多线程，而是在I/O上。

因为，如果把事件处理改成多线程，不但会导致锁竞争，而且会有频繁的上下文切换，

即使用分段锁来减少竞争，对Redis内核也会有较大改动，性能也不一定有明显提升。

流程简述如下：

见下图

 

Redis6.0的多线程默认是禁用的，只使用主线程。

如需开启需要修改redis.conf配置文件：

开启多线程后，还需要设置线程数，否则是不生效的。

同样修改redis.conf配置文件:

HTTP 是客户端-服务器计算模型中的请求-响应协议。要开始交换，客户端向服务器提交请求。为了完成交换，服务器向客户端返回响应。服务器只能向一个客户端发送响应 （发出请求的那个） 。在 HTTP 协议中，客户端是消息交换的发起者。

服务器发送事件 (SSE) 是一种简单的技术，用于为特定的 Web 应用程序实现服务器到客户端的异步通信。

有多种技术允许客户端从服务器接收有关异步更新的消息。它们可以分为两类： 客户端拉取 和 服务器推送 。

在客户端拉取技术中，客户端会定期向服务器请求更新。服务器可以使用更新或尚未更新的特殊响应进行响应。有两种类型的客户端拉取：短轮询和长轮询。

客户端定期向服务器发送请求。如果服务器有更新，它会向客户端发送响应并关闭连接。如果服务器没有更新，它也会向客户端发送一个响应并关闭连接。

客户端向服务器发送请求。如果服务器有更新，它会向客户端发送响应并关闭连接。如果服务器没有更新，它会保持连接直到更新可用。当更新可用时，服务器向客户端发送响应并关闭连接。如果更新在某个超时时间内不可用，服务器会向客户端发送响应并关闭连接。

在服务器推送技术中，服务器在消息可用后立即主动向客户端发送消息。其中，有两种类型的服务器推送：SSE和 WebSocket。

SSE 是一种在基于浏览器的 Web 应用程序中仅从服务器向客户端发送文本消息的技术。SSE基于 HTTP 协议中的持久连接， 具有由 W3C 标准化的网络协议和 EventSource 客户端接口，作为 HTML5 标准套件的一部分。

WebSocket 是一种在 Web 应用程序中实现同时、双向、实时通信的技术。WebSocket 基于 HTTP 以外的协议（TCP），因此可能需要额外设置网络基础设施（代理服务器、NAT、防火墙等）。

客户端通过Http协议请求，在握手阶段升级为WebSocket协议。

在数据字段中，服务器可以发送事件数据

服务器可以发送唯一的事件标识符（id字段）。如果连接中断，客户端会 自动重新连接 并发送最后接收到的带有header的 Last-Event-ID 的事件 ID。

在重试字段中，服务器可以发送超时（以毫秒为单位），之后客户端应在连接中断时自动重新连接。如果未指定此字段，则标准应为 3000 毫秒。

如果一行以冒号字符 : 开头，客户端应该忽略它。这可用于从服务器发送评论或防止某些代理服务器因超时关闭连接。

要打开连接，应创建一个 EventSource 对象。

尽管 SSE 旨在将事件从服务器发送到客户端，但可以使用 GET 查询参数将数据从客户端传递到服务器。

要关闭连接，应调用方法 close()。

有表示连接状态的 readyState 属性：

客户端接收消息并处理他们，可以使用onmessage方法

SSE可被大多数浏览器支持：

Spring Web MVC 框架 5.2.0 是基于 Servlet 3.1 API 且用线程池实现异步应用程序. 所以应用能够被使用在 Servlet 3.1+ 的容器，比如：Tomcat 8.5 和 Jetty 9.3.

使用Spring MVC来发送事件:

示例：

在这个例子中，服务器每秒发送一个持续时间短的周期性事件流 - 一个有限的词流，直到词完成。

示例：

运行效果：

客户端示例（words.html）：

运行效果：

在此示例中，服务器发送持久的周期性事件流 - 每秒可能无限的服务器性能信息流：

效果预览（每秒输出一次）：

非周期性是指没有固定的时间周期，可能由其他因素在任意时刻都可能触发，下面示例通过spring event来模拟触发因子。

效果:

模拟触发动作：调用 http://localhost:8080/sse/mvc/trigger?eventType=customer

客户端收到数据：

Spring Web Flux 框架 5.2.0 是基于 Reactive Streams API 且使用event-loop计算模型来实现异步java应用程序。 此类应用程序可以在非阻塞 Web 服务器（例如 Netty 4.1 和 Undertow 1.4）和 Servlet 3.1+ 容器（例如 Tomcat 8.5 和 Jetty 9.3）上运行。

使用 Spring Web Flux 框架实现发送事件：

简单示例：

和上面spring mvc的示例一样，也是每秒输出数据，实现如下：

效果：

对比spring mvc的实现，我们改为flux实现，如下：

效果和上面是一样的，可以看出，reactive api是非常的简洁。

Nginx的每个模块都基本符合单一职责原则

一般来说，Web服务器完成并行处理请求工作的三种方式有：多进程方式、多进程方式和异步方式

多进程方式是指，服务器每当接收到一个客户端时，就由服务器主进程生成一个子进程出来和该客户端建立连接进行交互，直到连接断开，该子进程就结束了

多进程方式的优点在于，设计和实现相对简单，各个子进程之间相对独立，处理客户端请求的过程彼此不受到干扰，并且当一个子进程产生问题时，不容易将影响蔓延到其他进程中，这保证了提供服务的稳定性。当子线程退出时，其占用资源会被操作系统回收，也不会留下任何垃圾。

其缺点是操作系统中生成一个子进程需要进行大量内存复制等操作，在资源和时间上会产生一定的额外开销。因此，如果Web服务器接收大量并发请求，就会对系统资源造成压力，导致系统性能下降。

Apache采用“预生成进程”方式，它将生成子进程的时机提前，在客户端请求还没有到来之前就预先生成好，当请求到来时，主进程分配一个子进程和该客户端进行交互，交互完成之后，该进程也不结束，而被主进程管理起来等待下一个客户端请求的到来

多线程方式是指当服务器每当接收到一个客户端时，会有服务器主进程派生一个线程出来和该客户端进行交互

由于操作系统产生一个线程的开销远远小于产生一个进程的开销，所以多线程方式在很大程度上减轻了Web服务器对系统资源的要求。该方式使用线程进行任务调度，开发方面可以遵循一定的标准，这相对来说比较规范和有利于协作。

多个线程位于同一进程内，可以访问同样的内存空间，彼此之间相互影响；同时，在开发过程中不可避免地要由开发者自己对内存进行管理，其增加了出错的风险

IIS服务器使用了多线程方式对外提供服务

同步机制：发送方发送请求之后，需要等待接收到接收方发回的响应后，才接着发送下一个请求

异步机制：发送方发送请求只有，不等待接收方响应这个请求，就继续发送下一个请求。

在同步机制中，所有的请求在服务器端得到同步，发送方和接收方对请求的处理步调是一致的；在异步机制中，所有来自发送方的请求形成一个队列，接收方处理完成后通知发送方

阻塞和非阻塞用来描述进程处理调用的方式，在网络通信中，主要指网络套接字Socket的阻塞和非阻塞方式，而Socket的实质也就是IO操作。

Socket的阻塞调用方式为，调用结果返回之前，当前线程从运行状态被挂起，一直等到调用结果返回之前，才进入就绪状态，获取CPU继续执行

Socket的非阻塞调用方式为，如果调用结果不能马上返回，当前线程也不会被挂起，而是立即返回执行下一个调用

Nginx结合多进程机制和异步机制对外提供服务。异步机制使用的是异步非阻塞方式

Nginx服务器启动后产生一个主进程和多个工作进程（可在配置文件中配置）。Ngnix服务器的所有工作进程都用于接收和处理客户端的请求。每个工作进程使用异步非阻塞方式，可以处理多个客户端的请求。当某个工作进程接收到客户端的请求以后，调用IO进行处理，如果不能立即得到返回，就去处理其他的请求；而客户端再次期间也无须等待响应，可以去处理其他的事情；当IO调用返回结果时，就会通知此工作进程；该进程得到通知，暂时挂起当前处理的事务，去响应客户端的请求

IO调用把状态通知给工作进程的两种方式：

select/poll/epoll/kqueue等这样的系统调用就是支撑第二种方案的。这种系统调用，也称为事件模型。IO调用完全由事件驱动模型来管理，事件准备好之后就通知工作进程事件已经就绪

事件驱动就是在持续事务管理过程中，由当前时间点上出现的事件引发的调动可用资源执行相关任务，解决不断出现的问题，防止事务堆积的一种策略

事件驱动模型一般由事件收集器、事件发送器和事件处理器三部分基本单元组成

事件收集器 专门负责收集所有的事件，包括来自用户的（鼠标、键盘事件等）、来自硬件的（时钟事件等）和来自软件的（操作系统、应用程序自身）。 事件发送器 负责将收集器收集到的事件分发到目标对象中。目标对象就是事件处理器所处的位置。 事件处理器 主要负责具体事件的响应工作，它往往要到实现阶段才完全确定

目标对象中事件处理器的几种方式：

大部分网络服务器都采用第三种方式，形成了事件驱动库。事件驱动库又被称为多路IO复用方法，最常见的伪：select、poll、epoll。Nginx服务器还支持rtsig、kqueue、dev/poll和eventport

各个版本Linux和Windows平台都支持的基本事件驱动模型

使用select库的一般步骤：

如果没有指定其他事件驱动模型，Nginx自动编译该库。

使用--with-select_module和--without-select_module强制Nginx是否编译该库

Linux平台的事件驱动模型，Windows不支持。

poll和select的基本使用方式是相同的，区别在于：select需要为读事件、写事件和异常事件都分别创建一个描述符集合，因此在最后轮询的时候，需要分别轮训这三个集合。而poss库只需要创建一个集合，在每个描述符对应的结构上分别设置读事件、写事件或异常事件，最后轮询的时候，可以同时检查这三种事件是否发生。poll库是select库的优化实现

如果没有指定其他事件驱动模型，Nginx自动编译该库。

使用--with-poll_module和--without-poll_module强制Nginx是否编译该库

epoll属于poll库的一个变种，最大的区别在于效率

epoll库通过相关调用通知内核创建一个有N个描述符的事件列表；然后，给这些描述符设置所关注的事件，并将它添加到内核的事件列表中。

完成设置之后，epoll库就开始等待内核通知事件发生了。某一事件发生后，内核将发生事件的描述符列表上报给epoll库。得到列表事件的epoll库，就可以进行事件处理了

epoll库是Linux平台上最高效的。它支持一个进程打开大数目的事件描述符，上限是系统可以打开文件的最大数目。同时，epoll库的IO效率不随描述符数目增加而线性下降，因为它只会对内核上报的“活跃”的描述符进行操作

使用rtsig模型时，工作进程会通过系统内核建立一个rtsig队列用于存放标记事件发生（在Nginx服务器应用中特指客户端请求发生）的信号。每一个事件发生时，系统内核就会发生一个信号存放到rtsig队列中等待工作进程的处理。

rtsig队列有长度限制，如果超过该长度就会发生溢出。默认情况下，Linux系统事件信号队列的最大长度设置为1024。在Liunx2.6.6-mm2之后的版本之前，通过修改内核参数/proc/sys/kernel/rtsig-max来自定义该长度设置。在Liunx2.6.6-mm2之后的版本中，该参数被取消，系统各个进程分别拥有各自的事件信号队列，这个队列的大小由Linux系统的RLIMIT_SIGPENDING参数定义，在执行setrlimit()系统调用时确定该大小。Linux提供了worker+rlimit_sigpending参数用于调节这种情况下的事件信号队列长度

当rtsig队列发生溢出时，Nginx将暂停使用rtsig模型，而调用poll库处理未处理的事件，直到rtsig信号队列全部清空，然后再次启动rtsig模型，以防止新的溢出发生

编译Nginx服务器时，使用-with-rtsig_module配置选项启用rtsig模型的编译

kqueue模型，主要用于FreeBSD4.1及以上版本、OpenBSD2.9及以上版本、NetBSD2.0及以上版本以及Mac OS X平台上。该模型也是poll库的一个变种，其和poll库的处理方式没有本质上的区别。该模型同时支持条件触发（只要满足条件就触发一个事件）和边缘触发（当状态发生改变触发一个事件）。在这些平台下，使用该模型用于请求处理，提高Nginx服务器性能

/dev/poll模型，主要用于Solaris7 11/99及以上版本、HP/US 11.22及以上版本、IRIX6.5.15及以上版本和Tru 64 UNIX 5.1A及以上版本。它使用了虚拟的/dev/poll设备，开发人员可以将要监视的文件描述符加入这个设备，然后通过ioctl()调用来获取事件通知。在以上平台中推荐使用

eventport模型，用于支持Solaris 10及以上版本。它可以有效防止内核崩溃等情况的发生

根据不同的部署平台，选择不同的事件驱动模型以提升Nginx服务器的处理性能

Nginx服务器启动后，产生一个主进程，主进程执行一系列工作后产生一个或者多个工作进程。

主进程主要进行Nginx配置文件解析、数据结构初始化、模块配置和注册、信号处理、网络监听生成、工作进程生成和管理等工作；

工作进程主要进行进程初始化、模块调用和请求处理等工作，是Nginx服务器提供服务的主体

Nginx服务器将接收到的Web请求通过代理转发到后端服务器，由后端服务器进行数据处理和页面组织，然后将结果返回。

Nginx服务器为了提高对请求的响应效率，进一步降低网络压力，采用了缓存机制，将历史应答数据缓存到本地。在每次Nginx服务器启动后的一段时间内，会启动专门的进程进行对本地缓存的内容重建索引，保证对缓存文件的快速访问

依赖于管道机制，交互的准备工作都是在工作进程生成时完成的

Run Loops，指的是进程内部用来不停地调配工作，对事件进行循环处理的一种模型。

该模型是一个集合，集合中的每一个元素称为一个Run-Loop。每个Run-Loop可运行在不同的模式下，其中可以包含它所监听的输入事件源、定时器以及在事件发生时需要通知的Run-Loop监听器。为了监听特定的事件，可以在Run Loops中添加相应的Run-Loop监听器。当被监听的事件发生时，Run-Loop会产生一个消息，被Run-Loop监听器捕获，从而执行预定的动作

Nginx服务器在工作进程中实现了Run-Loop事件处理循环的使用，用来处理客户端发送的请求事件

---