Nginx服务器架构初探

Nginx的每个模块都基本符合单一职责原则

一般来说，Web服务器完成并行处理请求工作的三种方式有：多进程方式、多进程方式和异步方式

多进程方式是指，服务器每当接收到一个客户端时，就由服务器主进程生成一个子进程出来和该客户端建立连接进行交互，直到连接断开，该子进程就结束了

多进程方式的优点在于，设计和实现相对简单，各个子进程之间相对独立，处理客户端请求的过程彼此不受到干扰，并且当一个子进程产生问题时，不容易将影响蔓延到其他进程中，这保证了提供服务的稳定性。当子线程退出时，其占用资源会被操作系统回收，也不会留下任何垃圾。

其缺点是操作系统中生成一个子进程需要进行大量内存复制等操作，在资源和时间上会产生一定的额外开销。因此，如果Web服务器接收大量并发请求，就会对系统资源造成压力，导致系统性能下降。

Apache采用“预生成进程”方式，它将生成子进程的时机提前，在客户端请求还没有到来之前就预先生成好，当请求到来时，主进程分配一个子进程和该客户端进行交互，交互完成之后，该进程也不结束，而被主进程管理起来等待下一个客户端请求的到来

多线程方式是指当服务器每当接收到一个客户端时，会有服务器主进程派生一个线程出来和该客户端进行交互

由于操作系统产生一个线程的开销远远小于产生一个进程的开销，所以多线程方式在很大程度上减轻了Web服务器对系统资源的要求。该方式使用线程进行任务调度，开发方面可以遵循一定的标准，这相对来说比较规范和有利于协作。

多个线程位于同一进程内，可以访问同样的内存空间，彼此之间相互影响；同时，在开发过程中不可避免地要由开发者自己对内存进行管理，其增加了出错的风险

IIS服务器使用了多线程方式对外提供服务

同步机制：发送方发送请求之后，需要等待接收到接收方发回的响应后，才接着发送下一个请求

异步机制：发送方发送请求只有，不等待接收方响应这个请求，就继续发送下一个请求。

在同步机制中，所有的请求在服务器端得到同步，发送方和接收方对请求的处理步调是一致的；在异步机制中，所有来自发送方的请求形成一个队列，接收方处理完成后通知发送方

阻塞和非阻塞用来描述进程处理调用的方式，在网络通信中，主要指网络套接字Socket的阻塞和非阻塞方式，而Socket的实质也就是IO操作。

Socket的阻塞调用方式为，调用结果返回之前，当前线程从运行状态被挂起，一直等到调用结果返回之前，才进入就绪状态，获取CPU继续执行

Socket的非阻塞调用方式为，如果调用结果不能马上返回，当前线程也不会被挂起，而是立即返回执行下一个调用

Nginx结合多进程机制和异步机制对外提供服务。异步机制使用的是异步非阻塞方式

Nginx服务器启动后产生一个主进程和多个工作进程（可在配置文件中配置）。Ngnix服务器的所有工作进程都用于接收和处理客户端的请求。每个工作进程使用异步非阻塞方式，可以处理多个客户端的请求。当某个工作进程接收到客户端的请求以后，调用IO进行处理，如果不能立即得到返回，就去处理其他的请求；而客户端再次期间也无须等待响应，可以去处理其他的事情；当IO调用返回结果时，就会通知此工作进程；该进程得到通知，暂时挂起当前处理的事务，去响应客户端的请求

IO调用把状态通知给工作进程的两种方式：

select/poll/epoll/kqueue等这样的系统调用就是支撑第二种方案的。这种系统调用，也称为事件模型。IO调用完全由事件驱动模型来管理，事件准备好之后就通知工作进程事件已经就绪

事件驱动就是在持续事务管理过程中，由当前时间点上出现的事件引发的调动可用资源执行相关任务，解决不断出现的问题，防止事务堆积的一种策略

事件驱动模型一般由事件收集器、事件发送器和事件处理器三部分基本单元组成

事件收集器 专门负责收集所有的事件，包括来自用户的（鼠标、键盘事件等）、来自硬件的（时钟事件等）和来自软件的（操作系统、应用程序自身）。 事件发送器 负责将收集器收集到的事件分发到目标对象中。目标对象就是事件处理器所处的位置。 事件处理器 主要负责具体事件的响应工作，它往往要到实现阶段才完全确定

目标对象中事件处理器的几种方式：

大部分网络服务器都采用第三种方式，形成了事件驱动库。事件驱动库又被称为多路IO复用方法，最常见的伪：select、poll、epoll。Nginx服务器还支持rtsig、kqueue、dev/poll和eventport

各个版本Linux和Windows平台都支持的基本事件驱动模型

使用select库的一般步骤：

如果没有指定其他事件驱动模型，Nginx自动编译该库。

使用--with-select_module和--without-select_module强制Nginx是否编译该库

Linux平台的事件驱动模型，Windows不支持。

poll和select的基本使用方式是相同的，区别在于：select需要为读事件、写事件和异常事件都分别创建一个描述符集合，因此在最后轮询的时候，需要分别轮训这三个集合。而poss库只需要创建一个集合，在每个描述符对应的结构上分别设置读事件、写事件或异常事件，最后轮询的时候，可以同时检查这三种事件是否发生。poll库是select库的优化实现

如果没有指定其他事件驱动模型，Nginx自动编译该库。

使用--with-poll_module和--without-poll_module强制Nginx是否编译该库

epoll属于poll库的一个变种，最大的区别在于效率

epoll库通过相关调用通知内核创建一个有N个描述符的事件列表；然后，给这些描述符设置所关注的事件，并将它添加到内核的事件列表中。

完成设置之后，epoll库就开始等待内核通知事件发生了。某一事件发生后，内核将发生事件的描述符列表上报给epoll库。得到列表事件的epoll库，就可以进行事件处理了

epoll库是Linux平台上最高效的。它支持一个进程打开大数目的事件描述符，上限是系统可以打开文件的最大数目。同时，epoll库的IO效率不随描述符数目增加而线性下降，因为它只会对内核上报的“活跃”的描述符进行操作

使用rtsig模型时，工作进程会通过系统内核建立一个rtsig队列用于存放标记事件发生（在Nginx服务器应用中特指客户端请求发生）的信号。每一个事件发生时，系统内核就会发生一个信号存放到rtsig队列中等待工作进程的处理。

rtsig队列有长度限制，如果超过该长度就会发生溢出。默认情况下，Linux系统事件信号队列的最大长度设置为1024。在Liunx2.6.6-mm2之后的版本之前，通过修改内核参数/proc/sys/kernel/rtsig-max来自定义该长度设置。在Liunx2.6.6-mm2之后的版本中，该参数被取消，系统各个进程分别拥有各自的事件信号队列，这个队列的大小由Linux系统的RLIMIT_SIGPENDING参数定义，在执行setrlimit()系统调用时确定该大小。Linux提供了worker+rlimit_sigpending参数用于调节这种情况下的事件信号队列长度

当rtsig队列发生溢出时，Nginx将暂停使用rtsig模型，而调用poll库处理未处理的事件，直到rtsig信号队列全部清空，然后再次启动rtsig模型，以防止新的溢出发生

编译Nginx服务器时，使用-with-rtsig_module配置选项启用rtsig模型的编译

kqueue模型，主要用于FreeBSD4.1及以上版本、OpenBSD2.9及以上版本、NetBSD2.0及以上版本以及Mac OS X平台上。该模型也是poll库的一个变种，其和poll库的处理方式没有本质上的区别。该模型同时支持条件触发（只要满足条件就触发一个事件）和边缘触发（当状态发生改变触发一个事件）。在这些平台下，使用该模型用于请求处理，提高Nginx服务器性能

/dev/poll模型，主要用于Solaris7 11/99及以上版本、HP/US 11.22及以上版本、IRIX6.5.15及以上版本和Tru 64 UNIX 5.1A及以上版本。它使用了虚拟的/dev/poll设备，开发人员可以将要监视的文件描述符加入这个设备，然后通过ioctl()调用来获取事件通知。在以上平台中推荐使用

eventport模型，用于支持Solaris 10及以上版本。它可以有效防止内核崩溃等情况的发生

根据不同的部署平台，选择不同的事件驱动模型以提升Nginx服务器的处理性能

Nginx服务器启动后，产生一个主进程，主进程执行一系列工作后产生一个或者多个工作进程。

主进程主要进行Nginx配置文件解析、数据结构初始化、模块配置和注册、信号处理、网络监听生成、工作进程生成和管理等工作；

工作进程主要进行进程初始化、模块调用和请求处理等工作，是Nginx服务器提供服务的主体

Nginx服务器将接收到的Web请求通过代理转发到后端服务器，由后端服务器进行数据处理和页面组织，然后将结果返回。

Nginx服务器为了提高对请求的响应效率，进一步降低网络压力，采用了缓存机制，将历史应答数据缓存到本地。在每次Nginx服务器启动后的一段时间内，会启动专门的进程进行对本地缓存的内容重建索引，保证对缓存文件的快速访问

依赖于管道机制，交互的准备工作都是在工作进程生成时完成的

Run Loops，指的是进程内部用来不停地调配工作，对事件进行循环处理的一种模型。

该模型是一个集合，集合中的每一个元素称为一个Run-Loop。每个Run-Loop可运行在不同的模式下，其中可以包含它所监听的输入事件源、定时器以及在事件发生时需要通知的Run-Loop监听器。为了监听特定的事件，可以在Run Loops中添加相应的Run-Loop监听器。当被监听的事件发生时，Run-Loop会产生一个消息，被Run-Loop监听器捕获，从而执行预定的动作

Nginx服务器在工作进程中实现了Run-Loop事件处理循环的使用，用来处理客户端发送的请求事件

服务器分塔式、机架式和刀片式这三种结构来划分服务器，服务器的外形为什么会有这样的划分呢？主要原因就是具体的应用环境不同，塔式服务器长得跟我们平时用的台式机一样，占用空间比较大，一般是一些小型企业自己使用自己维护；而机架式服务器长得就像卧着的台式机，可以一台一台的放到固定机架上，因此而得名，它可以拿去专业的服务器托管提供商那里进行托管，这样每年只需支付一定的托管费，就免去了自己管理服务器的诸多不便；而刀片服务器是近几年才比较流行的一种服务器架构，它非常薄，可以一片一片的叠放在机柜上，通过群集技术进行协同运算，能够处理大量的任务，特别适合分布式服务，如作为WEB服务器。

看完上面的简单介绍，相信各位对这3种服务器已经有个基本的认识了，下面我们就来一一细说，为大家做更详细的讲解：

什么是塔式服务器：

塔式服务器应该是大家见得最多，也最容易理解的一种服务器结构类型，因为它的外形以及结构都跟我们平时使用的立式PC差不多，当然，由于服务器的主板扩展性较强、插槽也多出一堆，所以个头比普通主板大一些，因此塔式服务器的主机机箱也比标准的ATX机箱要大，一般都会预留足够的内部空间以便日后进行硬盘和电源的冗余扩展。

由于塔式服务器的机箱比较大，服务器的配置也可以很高，冗余扩展更可以很齐备，所以它的应用范围非常广，应该说目前使用率最高的一种服务器就是塔式服务器。我们平时常说的通用服务器一般都是塔式服务器，它可以集多种常见的服务应用于一身，不管是速度应用还是存储应用都可以使用塔式服务器来解决。

就使用对象或者使用级别来说，目前常见的入门级和工作组级服务器基本上都采用这一服务器结构类型，一些部门级应用也会采用，不过由于只有一台主机，即使进行升级扩张也有个限度，所以在一些应用需求较高的企业中，单机服务器就无法满足要求了，需要多机协同工作，而塔式服务器个头太大，独立性太强，协同工作在空间占用和系统管理上都不方便，这也是塔式服务器的局限性。不过，总的来说，这类服务器的功能、性能基本上能满足大部分企业用户的要求，其成本通常也比较低，因此这类服务器还是拥有非常广泛的应用支持。

什么是机架式服务器：

作为为互联网设计的服务器模式，机架服务器是一种外观按照统一标准设计的服务器，配合机柜统一使用。可以说机架式是一种优化结构的塔式服务器，它的设计宗旨主要是为了尽可能减少服务器空间的占用，而减少空间的直接好处就是在机房托管的时候价格会便宜很多。

为什么说机架式服务器是作为为互联网设计的服务器模式？

正如大家所知，很多专业网络设备都是采用机架式的结构（多为扁平式，活像个抽屉），如交换机、路由器、硬件防火墙这些。这些设备之所以有这样一种结构类型，是因为他们都按国际机柜标准进行设计，这样大家的平面尺寸就基本统一，可把一起安装在一个大型的立式标准机柜中。这样做的好处非常明显：一方面可以使设备占用最小的空间，另一方面则便于与其它网络设备的连接和管理，同时机房内也会显得整洁、美观。

机架服务器的宽度为19英寸，高度以U为单位（1U=1.75英寸=44.45毫米），通常有1U，2U，3U，4U，5U，7U几种标准的服务器。机柜的尺寸也是采用通用的工业标准，通常从22U到42U不等；机柜内按U的高度有可拆卸的滑动拖架，用户可以根据自己服务器的标高灵活调节高度，以存放服务器、集线器、磁盘阵列柜等网络设备。服务器摆放好后，它的所有I/O线全部从机柜的后方引出（机架服务器的所有接口也在后方），统一安置在机柜的线槽中，一般贴有标号，便于管理。

现在很多互联网的网站服务器其实都是由专业机构统一托管的，网站的经营者其实只是维护网站页面，硬件和网络连接则交给托管机构负责，因此，托管机构会根据受管服务器的高度来收取费用，1U的服务器在托管时收取的费用比2U的要便宜很多，这就是为什么这种结构的服务器现在会广泛应用于互联网事业。

还有一点要说的是机架式服务器因为空间比塔式服务器大大缩小，所以这类服务器在扩展性和散热问题上受到一定的限制，配件也要经过一定的筛选，一般都无法实现太完整的设备扩张，所以单机性能就比较有限，应用范围也比较有限，只能专注于某一方面的应用，如远程存储和Web服务的提供等，但由于很多配件不能采用塔式服务器的那种普通型号，而自身又有空间小的优势，所以机架式服务器一般会比同等配置的塔式服务器贵上20－30％。至于空间小而带来的扩展性问题，也不是完全没有办法解决，由于采用机柜安装的方式，因此多添加一个主机在机柜上是件很容易的事，然后再通过服务器群集技术就可以实现处理能力的增强，如果是采用外接扩展柜的方式也能实现大规模扩展，不过由于机架式服务器单机的性能有限，所以扩展之后也是单方面的能力得到增倍，所以这类服务器只是在某一种应用种比较出色，大家就把它划为功能服务器，这种服务器针对性较强，一般无法移做它用。

什么是刀片服务器？

对于企业和网络信息提供商来说，无限增长的数据必须集中存储和处理，于是未来的网络发展呈现出集中计算的趋势。集中管理模式与现有的分散管理模式，对服务器提出了新的要求：节约空间、便于集中管理、易于扩展和提供不间断的服务，成为对下一代服务器的新要求。

作为网络重要组成部分的服务器来说，性能已不仅仅是评价服务器的唯一指标了，用户更关心的是符合自己实际需要的产品。目前服务器集群已经在市场上得以广泛应用，而新一代机架式服务器也开始进入市场，为用户提供了更多的选择。但是随着网络向更深层面发展，下一代服务器将会是BladeServer（刀片服务器）。

刀片服务器是一种HAHD（HighAvailabilityHighDensity，高可用高密度）的低成本服务器平台，是专门为特殊应用行业和高密度计算机环境设计的。其中每一块"刀片"实际上就是一块系统主板。它们可以通过本地硬盘启动自己的操作系统，如WindowsNT/2000、Linux、Solaris等等，类似于一个个独立的服务器。在这种模式下，每一个主板运行自己的系统，服务于指定的不同用户群，相互之间没有关联。不过可以用系统软件将这些主板集合成一个服务器集群。在集群模式下，所有的主板可以连接起来提供高速的网络环境，可以共享资源，为相同的用户群服务。在集群中插入新的"刀片"，就可以提高整体性能。而由于每块"刀片"都是热插拔的，所以，系统可以轻松地进行替换，并且将维护时间减少到最小。值得一提的是，系统配置可以通过一套智能KVM和9个或10个带硬盘的CPU板来实现。CPU可以配置成为不同的子系统。一个机架中的服务器可以通过新型的智能KVM转换板共享一套光驱、软驱、键盘、显示器和鼠标，以访问多台服务器，从而便于进行升级、维护和访问服务器上的文件。

克服服务器集群的缺点

作为一种实现负载均衡的技术，服务器集群可以有效地提高服务的稳定性和/或核心网络服务的性能，还可以提供冗余和容错功能。理论上，服务器集群可以扩展到无限数量的服务器。无疑，服务器集群和RAID镜像技术的诞生为计算机和数据池的Internet应用提供了一个新的解决方案，其成本远远低于传统的高端专用服务器。

但是，服务器集群的集成能力低，管理这样的集群使很多IDC都非常头疼。尤其是集群扩展的需求越来越大，维护这些服务器的工作量简直不可想像，包括服务器之间的内部连接和摆放空间的要求。这些物理因素都限制了集群的扩展。“高密度服务器”－－BladeServer的出现适时地解决了这样的问题。高密度服务器内置了监视器和管理工具软件，可以几十个甚至上百个地堆放在一起。配置一台高密度服务器就可以解决一台到一百台服务器的管理问题。如果需要增加或者删除集群中的服务器，只要插入或拔出一个CPU板即可。就这个意义上来说，BladeServer从根本上克服了服务器集群的缺点。

直播平台开发完成后，不可避免的要进行在线视频直播系统的搭建部署。此时，也需要根据当初源码开发时的功能，选择合理的服务器搭建部署方案。服务器架构方面通常要用到云存储服务器、流媒体服务器或CDN、socket集群、Redis集群和Mysql集群等。如果只是聊天平台，对整个服务器架构的要求不会太高。如果没有单独的传统直播版块，就不会存在让人头疼的高并发问题；如果没有小视频版块，对实际的云存储也不会要求太高。但是，现在绝大多数的网络视频直播平台不会放弃这两个版块的，传统的视频直播间能够为平台和主播带来稳定的变现方式，而小视频功能则是当下火热的推广手段，同时在视频直播交友平台上也很容易实现付费小视频营销。我们有现成源码，可以免费搭建的。

---